Налаштування Neptune.ai для відстеження експериментів

Налаштування Neptune.ai для трекінгу експериментів

Neptune.ai - спеціалізована платформа для ML-трекінгу з акцентом на metadata management та зручному порівнянні експериментів. Хороший вибір для команд, які працюють із великими обсягами експериментів.

Встановлення та налаштування

pip install neptune
export NEPTUNE_API_TOKEN=xxx
export NEPTUNE_PROJECT=workspace/fraud-detection

Логування експерименту

import neptune

run = neptune.init_run(
    project="workspace/fraud-detection",
    tags=["lgbm", "baseline"],
    name="experiment-47"
)

# Параметры
run["config"] = {
    "learning_rate": 0.05,
    "n_estimators": 500,
    "dataset_version": "v2.3"
}

# Метрики с историей
for epoch in range(100):
    run["train/loss"].append(train_loss)
    run["val/loss"].append(val_loss)
    run["val/f1"].append(val_f1)

# Финальные метрики
run["test/f1"] = 0.924
run["test/auc"] = 0.971

# Артефакты
run["model"].upload("model.pkl")
run["feature_importance"].upload("fi.html")

# Датасет
dataset = neptune.init_model_version(model="FRAUD-MODEL")
dataset["dataset/train"].track_files("s3://bucket/data/train_v2.3/")

run.stop()

Neptune vs MLflow vs W&B

Neptune виділяється: Python dict-подібний інтерфейс для зберігання довільних метаданих, хороша підтримка кастомних об'єктів (dataframes, plotly figures), детальні comparison таблиці. MLflow - простіше, найкращий self-hosted. W&B — найкраща візуалізація та Sweeps. Neptune - найкращий для metadata-heavy workflow.