Реализация Differential Privacy для защиты конфиденциальности данных в ML
Differential Privacy (DP) — математически строгая гарантия: присутствие или отсутствие любого конкретного индивидуума в обучающей выборке не влияет на результат модели более чем на заданную величину ε. Не "примерно анонимно", а доказуемо.
Почему стандартной анонимизации недостаточно
История показала несостоятельность наивной анонимизации. Netflix Prize dataset — "анонимизированный" — был деанонимизирован через сопоставление с IMDb в 2006 году. AOL search data, медицинские записи Массачусетса — десятки примеров. ML-модели, обученные на персональных данных, могут запоминать отдельные записи из обучающей выборки и выдавать их при целенаправленных запросах (membership inference attacks).
DP даёт формальную гарантию: даже зная всё о модели, атакующий не сможет определить, было ли конкретное лицо в обучающих данных.
Типы DP для ML-задач
Local Differential Privacy (LDP)
Шум добавляется на стороне пользователя до передачи данных. Каждый индивидуум добавляет случайный шум к своим данным перед отправкой.
Преимущество: даже оператор системы не видит реальных данных. Недостаток: требует значительно большего объёма данных для той же точности (~100× больше при ε=1).
Применение: сбор статистики на мобильных устройствах (Apple использует LDP в iOS), опросы с чувствительными вопросами.
Central Differential Privacy (CDP) с DP-SGD
Шум добавляется в процессе обучения модели через алгоритм DP-SGD (Differentially Private Stochastic Gradient Descent):
- Вычисление градиентов для каждого примера в mini-batch
- Gradient clipping: нормирование градиентов по L2-норме (порог C)
- Добавление Gaussian noise: N(0, σ²C²) к sum of clipped gradients
- Нормализация и шаг оптимизации
Параметры: ε (privacy budget), δ (failure probability), σ (noise multiplier), C (clipping threshold).
Реализация через TensorFlow Privacy, Opacus (PyTorch):
from opacus import PrivacyEngine
from opacus.validators import ModuleValidator
model = ModuleValidator.fix(model) # Replace incompatible layers
optimizer = torch.optim.Adam(model.parameters(), lr=1e-4)
privacy_engine = PrivacyEngine()
model, optimizer, data_loader = privacy_engine.make_private_with_epsilon(
module=model,
optimizer=optimizer,
data_loader=data_loader,
epochs=20,
target_epsilon=5.0,
target_delta=1e-5,
max_grad_norm=1.0,
)
Privacy Accounting
DP budget потребляется при каждой итерации обучения. Важно отслеживать accumulation через Rényi Differential Privacy (RDP) accountant или moments accountant. Превышение бюджета означает исчерпание гарантий.
Компромисс privacy-utility
DP неизбежно снижает точность модели. Размер деградации зависит от:
| ε | Уровень защиты | Деградация accuracy (CIFAR-10) |
|---|---|---|
| 1.0 | Очень высокий | -8–15% |
| 5.0 | Высокий | -3–6% |
| 10.0 | Умеренный | -1–3% |
| ∞ | Отсутствует | 0% |
Практический совет: для большинства production задач ε=5–10 даёт приемлемый компромисс. Для задач с очень большими датасетами (>1M записей) деградация минимальна.
Техники снижения degradation
- Pretraining on public data: предобучение на публичных данных без DP → fine-tuning с DP на приватных. Деградация снижается в 2–3 раза
- Larger batch sizes: DP-SGD работает лучше при больших batches (меньше итераций = меньший бюджет)
- Model architecture: BatchNorm несовместим с DP (утечка информации через статистику). Использовать GroupNorm или LayerNorm
- Amplification by subsampling: sampling rate напрямую влияет на эффективный ε
Аудит и верификация гарантий
Реализации DP имеют баги — несколько раз в истории находились ошибки в библиотеках. Аудит включает:
- Проверку реализации gradient clipping и noise addition
- Эмпирическую валидацию через membership inference attacks (если атака успешна — реализация неверна)
- Privacy auditing tools: auditing методы Steinke et al. для эмпирической lower bound на ε
Применение в production
Где DP-обучение применяется сегодня:
- Медицинские ML-модели (HIPAA compliance требует защиты PHI)
- Финансовые модели кредитного скоринга
- Рекомендательные системы с пользовательским поведением
- Федеральные ML-системы с персональными данными граждан
Срок реализации DP в существующем ML-пайплайне: 2–4 недели при наличии PyTorch/TF-кода, включая настройку гиперпараметров и валидацию гарантий.