Разработка платформы синтетических данных

Разработка платформы синтетических данных

Платформа синтетических данных — это система для генерации искусственных, но статистически реалистичных данных, которые можно использовать для обучения AI-моделей, тестирования систем и обмена данными без рисков приватности. Особенно актуальна в здравоохранении, финансах и телекоме, где реальные данные жёстко регулируются.

Архитектура платформы

┌─────────────────────────────────────────────────────────┐
│                   Data Ingestion Layer                    │
│  [Real Data] → [Privacy Scan] → [Statistical Profiling]  │
└─────────────────────────────────────────────────────────┘
                            ↓
┌─────────────────────────────────────────────────────────┐
│                  Generation Engine                        │
│  ┌──────────────┐  ┌──────────────┐  ┌──────────────┐  │
│  │ Tabular (GAN)│  │  Text (LLM)  │  │ Image (Diff) │  │
│  └──────────────┘  └──────────────┘  └──────────────┘  │
└─────────────────────────────────────────────────────────┘
                            ↓
┌─────────────────────────────────────────────────────────┐
│                  Quality Validation                       │
│  [Statistical Fidelity] [Privacy Audit] [ML Utility]    │
└─────────────────────────────────────────────────────────┘
                            ↓
┌─────────────────────────────────────────────────────────┐
│                   Delivery Layer                          │
│  [API] → [Data Catalog] → [Access Control] → [Audit]   │
└─────────────────────────────────────────────────────────┘

Генерация табличных данных

CTGAN (Conditional Tabular GAN) — наиболее зрелый метод:

from sdv.single_table import CTGANSynthesizer
from sdv.metadata import SingleTableMetadata
import pandas as pd

# Метаданные реальной таблицы
metadata = SingleTableMetadata()
metadata.detect_from_dataframe(real_df)

# Дополнительные аннотации
metadata.update_column('patient_id', sdtype='id')
metadata.update_column('age', sdtype='numerical', computer_representation='Int64')
metadata.update_column('diagnosis', sdtype='categorical')
metadata.update_column('admission_date', sdtype='datetime')

# Обучение синтезатора
synthesizer = CTGANSynthesizer(
    metadata,
    epochs=500,
    batch_size=500,
    generator_dim=(256, 256),
    discriminator_dim=(256, 256),
    verbose=True
)
synthesizer.fit(real_df)

# Генерация 100,000 синтетических записей
synthetic_df = synthesizer.sample(num_rows=100_000)

Gaussian Copula — быстрее CTGAN, лучше сохраняет корреляции:

from sdv.single_table import GaussianCopulaSynthesizer

synthesizer = GaussianCopulaSynthesizer(metadata)
synthesizer.fit(real_df)
synthetic_df = synthesizer.sample(num_rows=100_000)

Генерация связанных таблиц

from sdv.multi_table import HMASynthesizer
from sdv.metadata import MultiTableMetadata

metadata = MultiTableMetadata()
metadata.detect_from_dataframes({
    'patients': patients_df,
    'diagnoses': diagnoses_df,
    'prescriptions': prescriptions_df
})

# Связи между таблицами
metadata.add_relationship(
    parent_table_name='patients',
    parent_primary_key='patient_id',
    child_table_name='diagnoses',
    child_foreign_key='patient_id'
)

synthesizer = HMASynthesizer(metadata)
synthesizer.fit({'patients': patients_df, 'diagnoses': diagnoses_df})
synthetic_data = synthesizer.sample(scale=1.5)

Приватность: Membership Inference Attack защита

from sdmetrics.reports.single_table import QualityReport
from sdmetrics.single_table import NewRowSynthesis

# Тест: насколько синтетические данные похожи на конкретные реальные записи
# (privacy audit)
new_row_score = NewRowSynthesis.compute(
    real_data=real_df,
    synthetic_data=synthetic_df,
    metadata=metadata,
    numerical_match_tolerance=0.01
)
# Цель: score > 0.9 (синтетические данные не воспроизводят реальные записи)

Оценка качества синтетических данных

from sdmetrics.reports.single_table import QualityReport

report = QualityReport()
report.generate(real_df, synthetic_df, metadata.to_dict())

# Компоненты оценки:
# Column Shapes: совпадение распределений отдельных колонок
# Column Pair Trends: совпадение корреляций между колонками
# Score 0.9+ считается высоким качеством для ML utility
print(report.get_score())  # Общий score 0-1
report.get_details(property_name='Column Shapes')

ML Utility тест

# Train-on-Synthetic, Test-on-Real (TSTR)
model_on_real = train_classifier(real_train, real_val)
model_on_synthetic = train_classifier(synthetic_train, real_val)

# Разница AUC должна быть < 2-3%
print(f"Real data AUC: {model_on_real.auc:.4f}")
print(f"Synthetic data AUC: {model_on_synthetic.auc:.4f}")
print(f"ML Utility gap: {(model_on_real.auc - model_on_synthetic.auc):.4f}")

Сроки и технологический стек

Полная платформа: 3-4 месяца. Включает: web UI для self-service генерации, API для программного доступа, integration с существующим Data Catalog, автоматический privacy audit и ML utility report для каждого сгенерированного датасета, role-based access control.

Технический стек: FastAPI backend, React frontend, PostgreSQL для метаданных, S3/MinIO для синтетических датасетов, Airflow для оркестрации генерации.