Настройка Neptune.ai для отслеживания экспериментов

Настройка Neptune.ai для трекинга экспериментов

Neptune.ai — специализированная платформа для ML-трекинга с акцентом на metadata management и удобном сравнении экспериментов. Хороший выбор для команд, работающих с большими объёмами экспериментов.

Установка и настройка

pip install neptune
export NEPTUNE_API_TOKEN=xxx
export NEPTUNE_PROJECT=workspace/fraud-detection

Логирование эксперимента

import neptune

run = neptune.init_run(
    project="workspace/fraud-detection",
    tags=["lgbm", "baseline"],
    name="experiment-47"
)

# Параметры
run["config"] = {
    "learning_rate": 0.05,
    "n_estimators": 500,
    "dataset_version": "v2.3"
}

# Метрики с историей
for epoch in range(100):
    run["train/loss"].append(train_loss)
    run["val/loss"].append(val_loss)
    run["val/f1"].append(val_f1)

# Финальные метрики
run["test/f1"] = 0.924
run["test/auc"] = 0.971

# Артефакты
run["model"].upload("model.pkl")
run["feature_importance"].upload("fi.html")

# Датасет
dataset = neptune.init_model_version(model="FRAUD-MODEL")
dataset["dataset/train"].track_files("s3://bucket/data/train_v2.3/")

run.stop()

Neptune vs MLflow vs W&B

Neptune выделяется: Python dict-подобный интерфейс для хранения произвольных метаданных, хорошая поддержка кастомных объектов (dataframes, plotly figures), детальные comparison таблицы. MLflow — проще, лучший self-hosted. W&B — лучшая визуализация и Sweeps. Neptune — лучший для metadata-heavy workflow.