Разработка системы хранения данных для регуляторов

Разработка системы хранения данных для регуляторов

Регуляторные требования к хранению данных — один из наиболее игнорируемых аспектов compliance. Типичные проблемы: данные хранятся без шифрования, retention policy не формализована, при запросе регулятора невозможно быстро предоставить нужный объём данных.

Требования к хранению

FATF R11: хранить KYC документы и записи транзакций минимум 5 лет (некоторые юрисдикции требуют 7 или 10 лет).

GDPR: данные не дольше необходимого (conflict с FATF — решается через legal basis "legal obligation" для AML данных).

MiCA / VASP лицензии: полная аудит-трасса всех решений, включая compliance decisions.

Архитектура хранилища

interface RegulatorDataStore {
  // Хранение KYC документов
  storeKYCDocument(params: {
    userId: string;
    documentType: "PASSPORT" | "DRIVING_LICENSE" | "UTILITY_BILL" | "SELFIE" | "OTHER";
    fileContent: Buffer;
    mimeType: string;
    expiresAt?: Date; // срок действия документа
    retentionUntil: Date; // когда можно удалить
  }): Promise<string>; // document ID
  
  // Хранение compliance решений
  storeComplianceDecision(params: {
    userId: string;
    decisionType: "KYC_APPROVAL" | "KYC_REJECTION" | "RISK_UPGRADE" | "SAR_FILED" | "ACCOUNT_FROZEN";
    decision: "APPROVED" | "REJECTED" | "ESCALATED";
    rationale: string;
    decidedBy: string; // сотрудник или система
    evidenceIds: string[]; // ссылки на документы
  }): Promise<string>;
  
  // Предоставление данных регулятору
  generateRegulatoryExport(params: {
    userId?: string;
    dateRange?: { from: Date; to: Date };
    dataTypes: string[];
  }): Promise<RegulatorExport>;
}

Шифрование в покое

Все KYC документы хранятся зашифрованными. Key management — критически важен: если ключи утеряны, данные недоступны; если скомпрометированы — нарушение.

class EncryptedDocumentStore {
  private readonly KMS_KEY_ID = process.env.AWS_KMS_KEY_ID;
  
  async store(userId: string, document: Buffer, metadata: DocumentMetadata): Promise<string> {
    // Генерируем data key через AWS KMS
    const { CiphertextBlob: encryptedDataKey, Plaintext: dataKey } = 
      await kms.generateDataKey({ KeyId: this.KMS_KEY_ID, KeySpec: "AES_256" }).promise();
    
    // Шифруем документ data key-ом
    const iv = crypto.randomBytes(16);
    const cipher = crypto.createCipheriv("aes-256-gcm", dataKey, iv);
    const encryptedDoc = Buffer.concat([cipher.update(document), cipher.final()]);
    const authTag = cipher.getAuthTag();
    
    // Сохраняем зашифрованный документ + encrypted data key
    const docId = crypto.randomUUID();
    await s3.putObject({
      Bucket: process.env.KYC_BUCKET,
      Key: `${userId}/${docId}`,
      Body: encryptedDoc,
      Metadata: {
        "encrypted-data-key": encryptedDataKey.toString("base64"),
        "iv": iv.toString("base64"),
        "auth-tag": authTag.toString("base64"),
        "user-id": userId,
        "document-type": metadata.documentType,
        "retention-until": metadata.retentionUntil.toISOString(),
      },
    }).promise();
    
    // Храним encrypted data key в DB (не сам data key!)
    await db.saveDocumentRecord(docId, userId, metadata, encryptedDataKey.toString("base64"));
    
    return docId;
  }
  
  async retrieve(docId: string): Promise<Buffer> {
    const record = await db.getDocumentRecord(docId);
    const s3Object = await s3.getObject({ Bucket: process.env.KYC_BUCKET, Key: `${record.userId}/${docId}` }).promise();
    
    // Расшифровываем data key через KMS
    const { Plaintext: dataKey } = await kms.decrypt({
      CiphertextBlob: Buffer.from(record.encryptedDataKey, "base64"),
    }).promise();
    
    const iv = Buffer.from(s3Object.Metadata!["iv"], "base64");
    const authTag = Buffer.from(s3Object.Metadata!["auth-tag"], "base64");
    
    const decipher = crypto.createDecipheriv("aes-256-gcm", dataKey, iv);
    decipher.setAuthTag(authTag);
    
    await db.logAccess(docId, "READ"); // audit trail
    
    return Buffer.concat([decipher.update(s3Object.Body as Buffer), decipher.final()]);
  }
}

Retention Policy автоматизация

// Ежедневная проверка истёкших данных
@Cron("0 3 * * *")
async enforceRetentionPolicy() {
  // Находим документы с истёкшим retention
  const expiredDocs = await db.findExpiredDocuments();
  
  for (const doc of expiredDocs) {
    // Проверяем нет ли активных legal holds (regulatory investigation, litigation)
    const hasLegalHold = await db.checkLegalHold(doc.userId);
    if (hasLegalHold) {
      await db.extendRetention(doc.id, doc.userId, "LEGAL_HOLD");
      continue;
    }
    
    // Безопасное удаление
    await s3.deleteObject({ Bucket: process.env.KYC_BUCKET, Key: `${doc.userId}/${doc.id}` }).promise();
    await db.markDocumentDeleted(doc.id, "RETENTION_EXPIRED");
    
    this.logger.log(`Deleted expired document ${doc.id} for user ${doc.userId}`);
  }
}

Регуляторный запрос (production request)

async function handleRegulatorRequest(request: RegulatorRequest): Promise<ExportPackage> {
  const { userId, dateRange, requestedBy, legalBasis } = request;
  
  // Логируем запрос (audit trail)
  await db.logRegulatorRequest(request);
  
  const [kycDocs, transactions, amlDecisions, sars] = await Promise.all([
    docStore.getKYCDocuments(userId),
    db.getTransactions(userId, dateRange),
    db.getComplianceDecisions(userId),
    db.getSARs(userId),
  ]);
  
  // Упаковываем в zip с manifest
  const exportPackage = await createExportPackage({
    userId,
    requestedBy,
    exportedAt: new Date(),
    legalBasis,
    contents: { kycDocs, transactions, amlDecisions, sars },
  });
  
  await db.logDataExport(userId, request.id, exportPackage.manifest);
  return exportPackage;
}

Система хранения с AES-256 шифрованием, KMS key management, retention policy и регуляторным export — 2-3 недели разработки.