Интеграция платформ синтетических данных (Gretel, Mostly AI, Tonic)

Интеграция платформ синтетических данных (Gretel, Mostly AI, Tonic)

Мы интегрируем платформы синтетических данных в ML-пайплайны, чтобы избавить команды от блокеров с доступом к чувствительным данным. Когда датасет содержит PII (кредитные карты, SSN, email), разработка и тестирование моделей на реальных данных нарушает GDPR и PCI DSS. Платформы вроде Gretel, Mostly AI и Tonic генерируют реалистичные копии, сохраняя статистические зависимости, но скрывая конфиденциальные поля. Однако каждая платформа имеет свою экосистему: Gretel делает упор на дифференциальную приватность, Mostly AI — на точность для финансовых транзакций, а Tonic — на деидентификацию для реляционных баз. Без правильной интеграции вы получите сырые данные, которые не проходят валидацию downstream-систем, и затратите недели на отладку. Наш опыт более 5 лет в этой сфере, и мы решаем эту задачу под ключ, настраивая пайплайн за 2–4 недели.

Какую проблему решают синтетические платформы

Основная боль — конфликт между требованиями безопасности и необходимостью иметь качественные тестовые данные. Допустим, у вас PostgreSQL с 10 млн записей, содержащих email, phone, ssn. Скопировать продакшен в staging — нарушение политик. Выгружать subset с маскировкой — теряются корреляции. Платформы синтетических данных решают это через обучение генеративной модели (ACTGAN, GAN, VAE) на исходных данных. Результат — датасет той же размерности и с теми же распределениями, но без возможности восстановить оригинал.

На практике мы видим три частых сценария:

• Финансовые данные: транзакции с fraud-метками — важно сохранить несбалансированность классов.
• CRM-данные: контактная информация, история взаимодействий — нужна генерация последовательностей с временными метками.
• IoT-данные: временные ряды с сенсоров — важно сохранить тренды и сезонность.

Разберём стек каждой платформы.

Gretel: приватность и гибкость

Gretel предлагает managed-сервис с поддержкой DP. Их консоль позволяет создавать проекты, загружать CSV, настраивать параметры обучения и генерировать данные. Мы используем SDK для автоматизации:

import gretel_client as gretel gretel.configure_session(api_key="grtu_...") project = gretel.create_project(name="customer-data-synthesis") model = project.create_model_obj( model_config={ "schema_version": "1.0", "name": "customer-actgan", "models": [{ "actgan": { "data_source": "customers.csv", "params": { "epochs": 400, "batch_size": 500, "generator_lr": 0.0002, }, "privacy_filters": { "similarity": "medium", "outliers": "medium" } } }] } ) model.submit_cloud() model.poll(verbose=True) record_handler = model.create_record_handler_obj( params={"num_records": 10000} ) record_handler.submit_cloud() record_handler.poll(verbose=True) synthetic_df = record_handler.get_artifact_link("data") 

Параметр privacy_filters регулирует уровень защиты: high сильнее искажает данные, low даёт большую точность. Для финансовых данных мы рекомендуем medium.

Mostly AI: точность для табличных данных

Mostly AI ориентирована на финансовый сектор. Их модели лучше сохраняют сложные взаимосвязи между таблицами (реляционные схемы). Пример интеграции:

import mostlyai client = mostlyai.MostlyAI( api_key="...", base_url="https://app.mostly.ai" ) generator = client.generators.create( name="transaction-generator", tables=[{ "name": "transactions", "data": transactions_df, "columns": [ {"name": "amount", "model_encoding_type": "NUMERIC_AUTO"}, {"name": "merchant_category", "model_encoding_type": "CATEGORICAL"}, {"name": "is_fraud", "model_encoding_type": "CATEGORICAL"}, ] }] ) generator.train() synthetic = client.synthetic_datasets.create( generator=generator, tables=[{"name": "transactions", "configuration": {"sample_size": 50000}}] ) synthetic_df = synthetic.tables["transactions"].data() 

Здесь мы явно задаём типы колонок. NUMERIC_AUTO подбирает оптимальное кодирование (логарифмическое, Box-Cox). Для категориальных полей используется embedding + softmax.

Tonic: деидентификация для баз данных

Tonic решает задачу создания безопасных копий продакшен-баз для dev/qa окружений. Их подход — не генерация, а трансформация с сохранением референциальной целостности:

import tonic workspace = tonic.Workspace(api_key="...") transform = workspace.create_transform( name="production-to-staging", source_connection=prod_db_connection, destination_connection=staging_db_connection ) transform.add_generator("email", "RandomEmail") transform.add_generator("ssn", "RandomSsn") transform.add_generator("credit_card", "RandomCreditCard") transform.add_generator("first_name", "RandomFirstName") transform.add_consistency_rule( columns=["income", "loan_amount"], preserve_correlation=True ) transform.run() 

Ключевая фича — consistency_rule сохраняет корреляции между колонками, что критично для моделей, основанных на скоринге.

Что входит в интеграцию

Мы берём на себя полный цикл подключения:

• Аудит исходных данных: выявление PII, корреляций, распределений
• Выбор платформы и настройка конфигураций
• Интеграция через API/SDK в ваш пайплайн (Airflow, Prefect, Kubeflow)
• Тестирование качества: KS-тест, entropy, pairwise correlation
• Документация и обучение команды
• Поддержка в течение месяца после запуска

Наш опыт — 5+ лет в ML и более 30 проектов по синтетическим данным. Гарантируем, что сгенерированные данные пройдут валидацию в production-пайплайне.

Какую платформу выбрать?

Gretel лучше, если требуется дифференциальная приватность — обеспечивает проверяемые DLP-стандарты. Mostly AI выдаёт более точные данные для табличных схем, но не поддерживает DP. Tonic идеален для быстрой деидентификации реляционных баз.

Как мы ускоряем интеграцию

Типовые сроки — от 2 до 4 недель в зависимости от сложности. Этапы:

1. Разведка: анализ исходных данных, выбор платформы (1–2 дня)
2. Пилот: обучение модели на сэмпле, оценка качества (3–5 дней)
3. Интеграция: подключение к источникам, настройка пайплайна (5–10 дней)
4. Тестирование: валидация на downstream-задачах (2–3 дня)
5. Деплой: запуск в production, мониторинг (2–3 дня)

Стоимость рассчитывается индивидуально под объём данных и типы трансформаций. Мы даём гарантию на корректность генерации в течение 2 недель после сдачи.

Почему стоит автоматизировать генерацию?

Без автоматизации команды тратят до 30% времени на ручное маскирование данных. Интеграция синтетических платформ снижает это время до нуля. Например, ежемесячно пересоздавая тестовые базы через Tonic, вы получаете свежие данные без операционной нагрузки.

Получите консультацию по интеграции — пишите, мы оценим ваш сценарий и предложим решение.