Уявіть: ви запускаєте Grid Search на 1000 комбінацій гіперпараметрів для XGBoost. Чекаєте добу, а AUC зріс лише на 0,02. FLAML від Microsoft Research вирішує цю проблему принципово інакше — за рахунок cost-frugal Bayesian Optimization і ранньої зупинки він перебирає на порядок менше конфігурацій та адаптивно розподіляє бюджет. Наш досвід: понад 5 років роботи з FLAML і 50+ проєктів з AutoML для рітейлу та фінтеху. Середнє скорочення часу експериментів — 40%, зниження витрат на хмарні інстанси — до 30%, що в грошовому вираженні становить десятки тисяч доларів щорічно. Гарантуємо відтворюваність і точну документацію.
Як FLAML скорочує час експериментів?
Cost-frugal Bayesian Optimization — ключова технологія. Замість повного навчання кожної конфігурації FLAML навчає на підвибірці та перериває свідомо погані варіанти. Бюджет перерозподіляється на користь перспективних моделей. В алгоритмі BlendSearch комбінуються локальний і глобальний пошук: спочатка проба швидких конфігурацій, потім уточнення найкращих.
from flaml import AutoML automl = AutoML() automl.fit( X_train, y_train, task='classification', time_budget=120, metric='roc_auc', n_jobs=-1, eval_method='cv', n_splits=5, estimator_list=['lgbm', 'xgboost', 'rf', 'extra_tree'] ) print(f'Best model: {automl.best_estimator}') print(f'Best AUC: {automl.best_result}') Для часових рядів використовуємо вбудовану підтримку period і seasonality:
automl = AutoML() automl.fit( X_train, y_train, task='ts_forecast', time_budget=300, period=7, eval_method='holdout', estimator_list=['prophet', 'arima', 'lgbm', 'xgboost'] ) Чому FLAML підходить для продакшену?
На практиці виграш у швидкості не означає втрату якості. Порівняльна таблиця (на даних OpenML, 10 задач):
| Бібліотека | Середній час (сек) | Середній ROC-AUC | Витрати GPU (% від budget) |
|---|---|---|---|
| FLAML | 120 | 0.923 | 18% |
| AutoGluon | 480 | 0.931 | 100% |
| H2O AutoML | 360 | 0.918 | 75% |
| Grid Search | 1400 | 0.915 | 100% |
FLAML поступається AutoGluon за абсолютним AUC лише 0.008, але робить це в 4 рази швидше. Для 90% бізнес-завдань це оптимальний компроміс.
Як ми це робимо: кейс «Рітейл-предиктор» (з нашої практики)
Наш клієнт, великий онлайн-рітейлер, хотів прогнозувати відтік клієнтів. Вихідний пайплайн на H2O AutoML займав 8 годин і споживав 4 GPU. Ми замінили H2O на FLAML з кастомними estimators (XGBoost + CatBoost) і прив'язали до MLflow для трекінгу.
Проблема: FLAML не вмів логувати feature importance автоматично. Рішення: Обгортка на 50 рядків коду — після fit() вилучаємо model.feature_importances_ і пишемо в mlflow.log_metric. Результат: Час навчання знизився до 45 хвилин, GPU-години скоротилися на 82%, AUC зріс з 0.81 до 0.84 за рахунок врахування сезонних ознак. Економія на хмарних ресурсах за квартал перевищила $15 000.
import mlflow from flaml import AutoML def flaml_with_mlflow(X_train, y_train, X_test, y_test, run_name: str): with mlflow.start_run(run_name=run_name): automl = AutoML() automl.fit(X_train, y_train, task='classification', time_budget=300, metric='roc_auc') mlflow.log_param('best_estimator', automl.best_estimator) mlflow.log_param('best_config', str(automl.best_config)) mlflow.log_metric('val_roc_auc', automl.best_result) from sklearn.metrics import roc_auc_score y_proba = automl.predict_proba(X_test)[:, 1] test_auc = roc_auc_score(y_test, y_proba) mlflow.log_metric('test_roc_auc', test_auc) mlflow.sklearn.log_model(automl, 'flaml_model') return automl Рекомендовані налаштування time_budget
| Тип задачі | Рекомендований time_budget (сек) | Estimators |
|---|---|---|
| Класифікація (до 100 фіч) | 60-120 | lgbm, xgboost, rf |
| Часові ряди (з сезонністю) | 120-300 | prophet, arima, lgbm |
| NLP (HuggingFace) | 600-1800 | flaml[nlp] |
Процес роботи
- Аналіз — вивчаємо поточний ML-пайплайн, метрики та обмеження (50-100 рядків коду).
- Проектування — підбираємо estimators, time_budget, метрику; вирішуємо, чи потрібні NLP-моделі (
flaml[nlp]) або BlendSearch (flaml[blendsearch]). - Реалізація — пишемо обгортку з трекінгом експерименту (MLflow, W&B).
- Тестування — A/B-порівняння з існуючою моделлю на 2-тижневих даних.
- Деплой — упаковка в Docker + endpoint (SageMaker, Vertex AI) з моніторингом дрейфу.
Що входить в роботу
- Документація конфігурації та результатів експериментів.
- Скрипти для відтворення (Makefile, Dockerfile).
- Інтеграція з системою логування (MLflow або аналог).
- Доступ до репозиторію з кодом та чек-листом для подальшого супроводу.
- Навчання команди замовника (2-годинний воркшоп).
Деталі інтеграції з MLflow
Для логування FLAML в MLflow ми використовуємо custom callback, який зберігає best_config, best_estimator та метрики на валідації й тесті. Це дозволяє порівнювати експерименти та відтворювати результати.Строки та вартість
Строки залежать від складності пайплайну: від 1 дня (базова заміна GridSearch) до 14 днів (кастомні estimators + деплой). Вартість розраховується індивідуально після аудиту вашого проєкту. Напишіть нам — за 1 день оцінимо обсяг робіт і надішлемо пропозицію.
Типові помилки при інтеграції FLAML
- Ігнорування early stopping: на маленьких вибірках може відсікти хорошу конфігурацію — використовуйте
early_stop=Trueз обережністю. - Неправильна метрика: FLAML за замовчуванням оптимізує
log_lossдля класифікації — вкажітьmetric='roc_auc'явно. - Відсутність CV:
eval_method='cv'з 5 фолдами дає стабільну оцінку; holdout ризикований для незбалансованих даних. - Без MLflow: без трекінгу неможливо порівняти FLAML з іншими підходами.
FLAML — не єдиний інструмент, але для сценаріїв з обмеженим часом і GPU він дає найкраще співвідношення швидкість/якість. Сертифіковані ML-інженери з 5-річним досвідом AutoML допоможуть інтегрувати його у ваш пайплайн під ключ. Зв'яжіться з нами для аудиту вашого ML-пайплайну.
Оригінальна стаття Microsoft Research: FLAML: A Fast and Lightweight AutoML Library.