Разработка системы генерации privacy-safe синтетических данных
Синтетические данные — данные, сгенерированные моделью, которая обучилась на реальных данных. Они воспроизводят статистические свойства оригинала без содержания реальных записей. Используются для обучения ML, тестирования, аналитики.
Когда нужны синтетические данные
- ML при дефиците данных: редкие заболевания, редкие транзакции, аварийные ситуации — примеров мало
- Privacy compliance: нельзя использовать prod-данные в dev/test среде
- Data augmentation: расширение обучающей выборки для улучшения обобщаемости
- Балансировка классов: генерация примеров для underrepresented классов
- Передача данных: передача партнёрам или исследователям без рисков GDPR
Методы генерации
GAN-based (CTGAN, TVAE, CopulaGAN) — для табличных данных
CTGAN специально разработан для табличных данных с mix categorical/continuous:
- Conditional Generator с mode-specific normalization для multimodal distributions
- Training-by-sampling для балансировки несбалансированных категориальных колонок
from ctgan import CTGAN
ctgan = CTGAN(epochs=300, batch_size=500, verbose=True)
ctgan.fit(
real_data,
discrete_columns=['category', 'gender', 'outcome']
)
synthetic_data = ctgan.sample(num_rows=10000)
TVAE (Variational Autoencoder) работает лучше на данных с сильными зависимостями между переменными.
Copula-based методы
Gaussian Copula моделирует joint distribution через marginals + correlation structure. Работает быстрее GAN, но хуже для сложных нелинейных зависимостей. SDV (Synthetic Data Vault) — популярная библиотека.
Диффузионные модели
Для изображений, аудио, медицинских снимков: Stable Diffusion, DDPM. Генерация реалистичных синтетических рентгенов, ЭКГ, кожных поражений для обучения медицинских моделей.
Language Models для текста
GPT-4/fine-tuned модели для генерации синтетических текстов: анкеты пациентов, юридические документы, отзывы клиентов. С контролем через structured prompts + validation.
Privacy-Safety валидация
Синтетические данные не автоматически безопасны. Необходимо тестирование на приватность:
Membership Inference Attack Атака: может ли атакующий определить, был ли конкретный реальный пример в обучающих данных генератора? Метрика: AUC ROC атаки. Безопасный порог: AUC < 0.6 (близко к случайному).
Attribute Inference Attack Зная часть атрибутов, может ли атакующий восстановить остальные? Тест на recovery rate sensitive атрибутов.
Nearest Neighbor Distance DCR (Distance to Closest Record): средняя минимальная дистанция между синтетическими и реальными записями. Слишком маленькое значение → копирование реальных записей.
NNDR (Nearest Neighbor Distance Ratio) Отношение расстояния до ближайшего соседа в синтетических к расстоянию в реальных данных. Значение ~1 = безопасно.
Качество синтетических данных
Синтетические данные должны воспроизводить полезные статистические свойства:
| Метрика | Описание | Цель |
|---|---|---|
| Column distribution similarity | KS-test для continuous, chi-square для categorical | p-value > 0.05 |
| Correlation structure | Pearson/Spearman correlation preservation | |
| Train-on-synthetic, test-on-real | ML model accuracy gap | < 5% |
| Detection accuracy | Classifier real vs synthetic | AUC < 0.7 |
Применение в production
Типовой флоу для dev/test:
- Production data → Privacy scan → PII removal → Synthetic generation
- Synthetic data → Privacy validation → Quality validation
- Deployment в dev/staging/test environments
Разработчики работают с realistic данными без доступа к production. Баги в обработке реальных форматов ловятся при разработке, а не в проде.
Срок разработки системы: 4–8 недель в зависимости от типов данных и требуемой сложности генерации.