Налаштування NVIDIA NCCL для мульти-GPU навчання

Налаштування NVIDIA NCCL для мульти-GPU навчання

Ви запустили distributed training на восьми A100, а scaling efficiency ледь дотягує до 30%. Знайома ситуація? Неправильна конфігурація NCCL — головна причина простою GPU і подовження експериментів. Бібліотека NVIDIA NCCL відповідає за синхронізацію градієнтів. Ми налаштовували NCCL для сотень серверів: від DGX до кластерів на Ethernet. Ділимося досвідом, як вичавити 85+% ефективності.

Проблема часто криється в невірному виборі транспорту: NVLink, PCIe, InfiniBand або Ethernet. Кожен має свої обмеження. Розберемо типові помилки та їх рішення.

Які проблеми виникають при розподіленому навчанні?

Транспорт не вибрано — NCCL мовчки падає на PCIe замість NVLink. Перевірте nvidia-smi topo -m та примусово задайте NCCL_P2P_DISABLE=0. Невірні буфери — буфер за замовчуванням малий для великих моделей. Збільшіть NCCL_BUFFSIZE до 8MB. Multi-node без RDMA — на Ethernet all-reduce в 2-3 рази повільніший, ніж на InfiniBand. Рішення — мігрувати на InfiniBand або увімкнути RoCE. Типовий симптом: GPU утилізовані на 30-50% при навчанні моделі з мільярдами параметрів.

Як ми налаштовуємо NCCL

Типовий стек: PyTorch DDP + NCCL 2.19, Ubuntu 22.04, CUDA 12.1. Для бенчмарків використовуємо nccl-tests з репозиторію NVIDIA. Приклад налаштування для DGX A100 з 8 GPU та InfiniBand:

export NCCL_DEBUG=INFO export NCCL_DEBUG_SUBSYS=INIT,GRAPH export NCCL_P2P_DISABLE=0 export NCCL_IB_DISABLE=0 export NCCL_IB_HCA=mlx5_0 export NCCL_IB_GID_INDEX=3 export NCCL_BUFFSIZE=8388608 export NCCL_NTHREADS=512 

Після цієї конфігурації пропускна здатність all-reduce 1G зросла з 35 GB/s (PCIe only) до 280 GB/s (NVLink+InfiniBand). Різниця в 8 разів — це те, що відрізняє проєкт, де GPU простоюють, від повністю утилізованих. Таке прискорення окупає вкладення в InfiniBand за 6–12 місяців, знижуючи витрати на GPU-години на 50–70%.

Порівняння транспортів

Рекомендовані змінні NCCL

Як діагностувати проблеми NCCL?

Спочатку перевірте топологію: nvidia-smi topo -m. Якщо бачите NV12 — все добре, якщо PIX — NVLink не використовується. Потім увімкніть NCCL_DEBUG=INFO та запустіть all_reduce_perf -b 1G -e 4G -f 2 -g 8. Дивіться на algbw — він має співпадати з теоретичним лімітом транспорту. Якщо нижче — проблема в налаштуваннях.

Чому InfiniBand вигідніший за Ethernet?

Для multi-node навчання all-reduce — вузьке місце. InfiniBand HDR дає пропускну здатність 200 Gbit/s та низьку затримку. Ethernet 100GbE — лише 100 Gbit/s, а реальна продуктивність через протокол TCP ще нижча. Різниця у вартості сервера з InfiniBand окупається за рахунок прискорення навчання в 2-3 рази. Зв'яжіться з нами для оцінки вашої інфраструктури.

Процес роботи

1. Аналіз топології — визначаємо зв'язки GPU, NUMA-вузли, мережеві інтерфейси.
2. Проектування — вибираємо транспорт, розміри буферів, потоків.
3. Реалізація — правимо змінні середовища, встановлюємо драйвери (gdrcopy при необхідності).
4. Тестування — запускаємо nccl-tests на всіх режимах, порівнюємо з baseline.
5. Деплой — фіксуємо конфігурацію в Ansible або Dockerfile, документуємо.

Строки орієнтовно

Проєкт під ключ — від 3 до 7 днів залежно від складності топології. Вартість розраховується індивідуально після аудиту вашої інфраструктури. Замовте аудит вашої конфігурації NCCL сьогодні.

Що входить в роботу

• Скрипти автоматичного налаштування NCCL для вашої конфігурації.
• Звіт з бенчмарками всіх комбінацій транспорту.
• Документація з діагностики та оптимізації для вашої команди.
• Підтримка на етапі впровадження — відлагодимо проблеми в реальних експериментах.

Типові помилки

• Забули перевірити NUMA-афінність — прив'яжіть процеси до NUMA-вузла GPU.
• Використовуєте torchrun без --master_port на всіх вузлах — порти конфліктують.
• Не увімкнули NCCL_IB_DISABLE=0 на вузлах без InfiniBand — NCCL вішає тренування.
• Занадто малий NCCL_BUFFSIZE для великих градієнтів — дробимо на кілька all-reduce.

Правильно налаштований NCCL — різниця між 30% та 85% scaling efficiency. Наш досвід — понад 10 років у distributed training, десятки впроваджень від 4 до 256 GPU. Гарантуємо зростання продуктивності або повернемо гроші за консультацію.

Офіційна документація NCCL Отримайте консультацію з налаштування вашої інфраструктури.