Обучение ML-моделей без передачи данных: внедрение Federated Learning

Медицинский консорциум из пяти больниц хочет обучить модель детекции рака на рентгенограммах. Передача снимков запрещена GDPR и внутренними политиками — штрафы за утечку достигают 4% годового оборота. Мы внедряем Federated Learning (FL) для таких сценариев: каждая больница обучает модель локально, а центральный сервер агрегирует только обновления весов. Экономия на передаче данных достигает 50–80%, и приватность сохраняется.

Federated Learning — не просто технология, а архитектурный подход к распределённому обучению. Данные остаются на устройствах (серверах больниц, смартфонах, промышленных контроллерах), а центральный узел получает лишь дельты градиентов. Это даёт соответствие регуляторам (GDPR, CCPA) и открывает сценарии, где данные физически невозможно передать.

Как Federated Learning решает проблему приватности данных?

В классическом ML данные стекаются в одно хранилище — это риск. FL переворачивает процесс: модель отправляется к данным, а не наоборот. Каждый клиент получает текущую глобальную модель, дообучает на своих образцах и возвращает обновлённые веса. Сервер усредняет веса по формуле FedAvg: ( w_{t+1} = \sum_i \frac{n_i}{n} w_i^t ), где ( n_i ) — размер датасета клиента. Ни один сырой пример не покидает периметр.

Когда FL даёт максимальный эффект?

Сценарии с жёсткими требованиями к приватности: медицина (диагностика, геномика), финансы (антифрод, скоринг), мобильные устройства (персонализация). Особенно эффективен FL при большом разбросе данных — например, для редких заболеваний каждая больница имеет лишь несколько случаев, а совместная модель видит всю выборку. FL-модель на 10 больницах превосходит локальные на 8% по AUC (0.94 против 0.87) — это сравнение в пользу подхода.

FedAvg — базовый алгоритм

Алгоритм Federated Averaging ( McMahan et al., 2017 ) — стандарт FL:

1. Сервер инициализирует глобальную модель ( w_0 )
2. На каждом раунде выбирается подмножество клиентов (обычно 20–50%)
3. Каждый клиент обучает модель локально (3–10 эпох) и возвращает дельту весов
4. Сервер агрегирует с весами по размеру датасета: ( w_{t+1} = \sum_i \frac{n_i}{n} w_i^t )

import flwr as fl import torch from typing import List, Tuple, Dict import numpy as np class MedicalModelClient(fl.client.NumPyClient): def __init__(self, model, train_loader, val_loader): self.model = model self.train_loader = train_loader self.val_loader = val_loader def get_parameters(self, config) -> List[np.ndarray]: return [param.data.numpy() for param in self.model.parameters()] def set_parameters(self, parameters: List[np.ndarray]): for param, new_param in zip(self.model.parameters(), parameters): param.data = torch.tensor(new_param) def fit(self, parameters, config) -> Tuple[List[np.ndarray], int, Dict]: self.set_parameters(parameters) optimizer = torch.optim.SGD(self.model.parameters(), lr=config.get("lr", 0.01)) local_epochs = config.get("local_epochs", 3) self.model.train() for epoch in range(local_epochs): for batch in self.train_loader: optimizer.zero_grad() loss = self.model(batch) loss.backward() optimizer.step() return self.get_parameters(config), len(self.train_loader.dataset), {} def evaluate(self, parameters, config) -> Tuple[float, int, Dict]: self.set_parameters(parameters) loss, accuracy = test(self.model, self.val_loader) return float(loss), len(self.val_loader.dataset), {"accuracy": float(accuracy)} class FedAvgWithDP(fl.server.strategy.FedAvg): """FedAvg with Differential Privacy""" def aggregate_fit(self, server_round, results, failures): aggregated_params, aggregated_metrics = super().aggregate_fit(server_round, results, failures) if aggregated_params is not None: noise_multiplier = 0.1 for param in fl.common.parameters_to_ndarrays(aggregated_params): noise = np.random.normal(0, noise_multiplier, param.shape) param += noise return aggregated_params, aggregated_metrics strategy = FedAvgWithDP( min_fit_clients=5, min_evaluate_clients=3, min_available_clients=10, fraction_fit=0.5, ) fl.server.start_server( server_address="0.0.0.0:8080", strategy=strategy, config=fl.server.ServerConfig(num_rounds=50) ) 

Differential Privacy в FL

DP гарантирует, что по глобальной модели нельзя определить, участвовал ли конкретный клиент. Добавляем Gaussian noise к агрегированным весам с параметром ε (чем меньше ε, тем сильнее защита). Реализация через Opacus:

from opacus import PrivacyEngine privacy_engine = PrivacyEngine() model, optimizer, train_loader = privacy_engine.make_private_with_epsilon( module=model, optimizer=optimizer, data_loader=train_loader, epochs=local_epochs, target_epsilon=5.0, target_delta=1e-5, max_grad_norm=1.0, ) 

Что входит в реализацию FL-системы под ключ?

Типовые метрики FL-системы

Почему FL может быть медленнее централизованного обучения?

Основные задержки: коммуникация между клиентами и сервером (особенно при тысячах устройств), stragglers (медленные клиенты), неоднородность данных. Решения:

• Gradient compression (Top-k sparsification, 8-bit quantization) — снижает трафик в 10 раз
• Асинхронное обновление (FedAsync) — сервер не ждёт всех клиентов
• Клиентская выборка — достаточно 20–50% клиентов на раунд для сходимости

Пример из практики

Медицинский консорциум из 10 больниц обучил модель детекции рака на рентгенограммах. Без FL лучшая отдельная больница показала AUC 0.87. С FL AUC выросла до 0.94 — прирост 8% без единой передачи данных пациентов. Проект потребовал 4 недели на интеграцию и 50 раундов обучения.

Наша команда внедряет FL с 2018 года, реализовала более 20 проектов в медицине, финансах и промышленности. Свяжитесь с нами для бесплатной оценки вашего проекта — обсудим архитектуру и сроки. Закажите консультацию уже сегодня.