Pruning нейромереж: обрізання ваг для оптимізації та прискорення інференсу

Pruning нейромережі: де інференс упирається в межу

Модель із хорошими метриками на відкладеній вибірці — це ще не модель, готова до робочого контуру. У лабораторії інференс моделі йде одиничними запитами на однорідних даних, а в сервісі приходять пачки одночасних звернень, різна довжина вхідних даних і піки навантаження.

Змінюється не якість відповіді, а ціна одного проходу: затримка відгуку зростає, і першою її помічає не середня статистика, а ті запити, що потрапляють у хвіст черги.

Основна частина часу йде не на арифметику, а на перекладання ваг із пам'яті в обчислювач. Чим ширші шари й чим більше параметрів бере участь у кожному проході, тим сильніше вузьке місце за обчисленнями зміщується в бік обміну даними, а не самих операцій.

Додайте вирівнювання входів різної довжини — і помітна частка роботи витрачається на позиції, які на результат не впливають.

Обрізання ваг прибирає саме цей клас надлишковості. Структуроване обрізання видаляє цілі канали та голови уваги, тому зменшуються самі тензори, і виграш зберігається на будь-якому обчислювачі; неструктурована розрідженість без апаратної підтримки прискорення майже не дає.

Після видалення ваги повертають якість донавчанням на тому самому домені, а не за рахунок більшої моделі.

Що це змінює для сервісу: на тому самому обладнанні зростає кількість одночасних запитів, хвіст затримок скорочується, а навантаження на сервіс перестає вимагати додаткових машин під піки.

Нижче розбираємо, як вибирається частка ваг, що видаляються, і де проходить межа, за якою якість уже не відновлюється.

Розрідженість ваг: що змінюється після обрізання

Обрізання ваг саме собою не прискорює вивід: якщо нулі залишаються в щільних матрицях, множник рахує їх нарівні з іншими.

Помітний ефект з'являється там, де розрідженість ваг удається перетворити на розріджені обчислення — інакше ви просто зіпсували якість моделі, не отримавши взамін нічого.

Тому після обрізання ми не дивимося на одну метрику, а ганяємо чек-лист: частину пунктів нижче замовники перевіряють самі, і вони ж найчастіше виявляють проблеми.

Що вимірюємо після кожного проходу обрізання

• Розрідженість ваг і ціна якості. Робочий діапазон — 50-70% нулів без перенавчання; далі обов'язковий донавчальний прохід на вихідних даних, інакше якість на рідкісних класах просідає першою.
• Фактичний розмір моделі. Артефакт у розрідженому форматі зменшується у 2-4 рази; якщо файл залишився незмінним, нулі зберігаються явно і на диску економії немає.
• Пропускна здатність. За тієї самої затримки кількість одночасних запитів зростає у 1,5-3 раза, але лише якщо обчислювач уміє працювати з розрідженими структурами — інакше зростання буде мінімальним.
• Стійкість відгуку. Дивимося 95-й і 99-й перцентилі затримки на живому потоці: середній час може не змінитися, а хвіст зрости через розгалуження й неоднорідну щільність шарів.
• Вимоги до обладнання. Модель, яка раніше вимагала кількох прискорювачів, після обрізання та квантування вміщається на меншій кількості вузлів — це і є основне джерело зниження витрат на вивід.
• Зсув виходів. Обрізання змінює розподіл відповідей, тому проганяємо обидві версії на одному наборі запитів і порівнюємо частку розбіжностей — вона показує, де модель почала «пливти».
• Оборотність. Контрольна точка щільної моделі та конфігурація обрізання зберігаються окремо, щоб відкат і порівняння версій займали хвилини, а не перезбирання. Підходи родини SparseGPT прискорили сам підбір розрідженості, але приймання все одно йде за метриками на ваших даних.

Підсумок перевірки — таблиця «версія моделі / частка нулів / розмір артефакту / затримка на хвості / пропускна здатність», за якою видно, де виграш, а де деградація.

Режими pruning нейромережі: структурне та вагове обрізання

Вибір режиму визначається не «силою» обрізання, а тим, що вміє прискорювати ваше середовище виконання.

Структурне обрізання видаляє цілі канали, голови уваги або блоки — на виході залишається щільний тензор меншого розміру, і виграш за часом відгуку виходить на звичайних ядрах, без спеціальної підтримки.

Вагове обрізання обнуляє окремі ваги, зберігаючи форму тензора: частка нулів зростає, але щільне ядро рахує нулі нарівні з іншими значеннями.

Де який режим доречний

Тому вагове обрізання — передусім про компресію моделі та зберігання, а структурне — про час відгуку.

Режими не виключають один одного: робоча схема — спочатку обрізання за вагами з донавчанням, потім структурне підганяння під цільове обладнання, із замірами метрик на відкладеній вибірці після кожного кроку. Розбираємо, як підібрати коефіцієнт обрізання під ваш сценарій без втрати якості.

Етапи робіт: від профілювання до передачі моделі

Прунінг — обрізання ваг — дає виграш лише тоді, коли кожне видалення підтверджене заміром. Ми ведемо проєкт як послідовність перевірок: спочатку фіксуємо, скільки модель коштує зараз, потім прибираємо зайве й переконуємося, що якість залишилася на місці. Нижче — порядок, за яким іде робота.

1. Профілювання моделі. Знімаємо заміри на даних замовника: час виводу, обсяг займаної пам'яті, навантаження за шарами. Видно, які блоки гальмують вивід і де обрізання дасть ефект, а де обернеться втратою якості.
2. Аудит якості. Збираємо перевірний набір: реальні приклади з еталонними відповідями й окремо складні випадки. Метрики та допустиму просадку фіксуємо до початку робіт, а не після.
3. Схема обрізання. Визначаємо, що саме прибираємо — окремі ваги, канали або цілі блоки — і з якою часткою. Рішення спирається на профіль: де запас за точністю більший, ріжемо глибше.
4. Налаштування та донавчання. Після обрізання точність просідає; коротке донавчання повертає її до еталону. Формат зберігання підбираємо так, щоб виграш не з'їло оточення.
5. Контроль точності. Проганяємо результат за тим самим набором і порівнюємо з вихідною моделлю. Просадка вища за домовлену — відкочуємо крок і змінюємо частку обрізання.
6. Перевірка в середовищі замовника. Повторюємо заміри вже на цільовому оточенні: час виводу, пам'ять, поведінка під навантаженням.
7. Передача рішення. Віддаємо модель, скрипти відтворення замірів, правила перевірки й документацію — команда замовника повторює цикл на своїх даних без нас.

Артефакти передачі: конфігурації, схеми та регламенти

Після обрізання модель живе довше, ніж проєкт, у якому вона з'явилася. Тому разом із вагами передаємо все, що дає змогу повторити результат без нас: відтворювані конфігурації, схеми моделі, політики прогонів і регламенти супроводу. Нижче — повний перелік того, що залишається у замовника.

• Відтворювані конфігурації обрізання — частка ваг, що відсікаються, критерій важливості нейронів, порядок донавчання та калібрування. Прогін за цими файлами повторюється один в один і дає ту саму модель.
• Схеми моделі до і після — які шари та блоки зачеплені, де змінилася розмірність, які гілки залишилися розрідженими. За схемою видно, чому модель стала легшою без втрати якості.
• Політики прогонів — коли запускається чергове обрізання, за якими метриками якості воно приймається і за яких значень повертається попередня версія.
• Набір перевірок якості — еталонні входи та очікувані відповіді, за якими порівнюється вихідна й обрізана модель. Дає змогу ловити деградацію на будь-якій наступній правці.
• Документація — опис архітектури, межі застосовності, відомі обмеження та інструкція з повторення навчання на нових даних.
• Регламенти супроводу — хто оновлює конфігурації, як додаються нові дані, з якою періодичністю переглядаються пороги якості та як фіксуються зміни.
• Карта оточення — версії бібліотек, порядок збирання та спосіб пакування моделі, щоб розгортання на новій машині не перетворювалося на пошук залежностей.

Практика: прискорення відгуку без втрати точності

Сервіс комп'ютерного зору на одиничних запитах відповідав швидко, а на піках починав здавати: черга викликів зростала, частина відпадала за часом очікування. Додавання інстансів не допомагало — вузьким місцем було не обчислення, а перекладання ваг моделі на кожному проході.

Архітектуру цілком не змінювали. Розібрали карту чутливості шарів і зробили структурне обрізання: прибрали канали та голови уваги з найменшим внеском у вихід, а не окремі ваги за порогом — так прискорюється реальний прохід, а не лише розмір файлу.

Частку обрізання підбирали ітеративно, після кожного кроку — коротке донавчання на вихідних даних і калібрування на живому потоці, щоб зсув статистики не накопичувався. Рахували все на PyTorch.

Метрики до і після: обрізали близько половини параметрів, затримка на 99-му перцентилі впала приблизно вдвічі, пропускна здатність зросла у 2,4 раза за тієї самої кількості інстансів. Якість на контрольній вибірці просіла менш ніж на відсоток.

Під триразовим навантаженням сервіс залишився стабільним, але важливіше інше — змінився клас відмов: замість черги та обривів за часом очікування ми бачимо передбачуване зростання затримки, яке масштабування встигає зняти.

Маски обрізання та контрольні точки до стиснення зберігаємо — відкат до повної моделі займає хвилини, якщо поведінка в проді розійдеться з офлайновими метриками.

Чим обрізання відрізняється від квантування та дистиляції

Обрізання прибирає частину ваг або цілі структури — канали, голови уваги, шари. Модель стає меншою й рахується швидше, але все ще у повній розрядності. Квантування нічого не видаляє: воно знижує розрядність ваг і активацій, і виграш дає дешевша арифметика.

Дистиляція змінює архітектуру цілком — компактна модель учиться повторювати виходи великої й уже не виводиться з неї простим перетворенням.

Поєднання методів дає не суму, а добуток ефектів, тому порядок кроків важливий. Дистиляцію ставлять першою — вона задає архітектуру. Далі йде обрізання з донавчанням, і лише після нього квантування: різати вже розріджену модель безглуздо, а квантувати розріджену — вигідно.

Точність моделі контролюємо за кроками: заміряємо цільову метрику на відкладеній вибірці до і після кожного перетворення й тримаємо бюджет просадки, наприклад не більше одного процентного пункту.

У PyTorch обрізання та квантування є у штатних модулях, тож порядок кроків відтворюваний, а не збирається заново під кожну модель.

Сумніви щодо точності та стійкості після обрізання

Втрата точності — не властивість методу, а наслідок того, які зв'язки видалили. Ми знімаємо профіль чутливості за шарами на контрольній вибірці замовника: де запас надлишковості великий, частка видалення вища, де представлення щільне — мінімальна. Так просадка залишається в домовленому коридорі, а не «як вийде».

Компенсуємо за ситуацією: після структурного обрізання метрики повертає коротке донавчання, під час видалення дублювальних каналів зазвичай достатньо калібрування на вихідних даних. Стабільність висновків перевіряємо окремо — розкид на пограничних прикладах не повинен зрости.

Що робити з рідкісними класами?

Вони просідають першими: прикладів мало, і ваги за них ідуть як малозначущі. Тому результат валідуємо не за середньою метрикою, а за кожним класом окремо, а для рідкісних класів залишаємо більше ємності.

Коли обрізання не допоможе?

Якщо модель уже компактна, а вузьке місце — не у вагах, а в підготовці даних або середовищі виводу. І якщо інфраструктура не підтримує розрідженість: ваги обнулили, а прискорення немає.

Обговоримо задачу: що підготувати до розмови

Оцінка обсягу робіт з обрізання спирається не на розмір моделі, а на те, які обмеження за якістю та часом відгуку для вас критичні. Чим точніші вихідні дані на вході, тим менше ітерацій піде на підбір режиму обрізання та його частки за шарами.

Що допомагає нам повернутися з оцінкою та планом робіт:

• Архітектура моделі та навчений чекпоінт ваг — з відтворюваним прогоном виводу на вашій інфраструктурі.
• Цільова метрика якості та допустима просадка: яку частку точності ви готові віддати в обмін на прискорення.
• Обмеження за пам'яттю та затримкою: де працює модель — сервер, звичайний процесор, вбудований пристрій — і який запас за відгуком потрібен.
• Калібрувальний набір із реальних даних — на ньому ми знімаємо відгуки шарів і вирішуємо, що можна обрізати без втрати сенсу.
• Схема розгортання: формат ваг, чи використовується квантування, хто і як часто перенавчає модель.
• Готовність до донавчання після обрізання: чи є розмічені дані та обчислювальний ресурс під відновлення якості.
• Обмеження за строками, якщо у вас уже призначена дата виводу нової версії в роботу.

Після розмови ми повертаємося з планом: рекомендована частка обрізання за шарами, спосіб відновлення якості, очікувані метрики на вашому тестовому наборі та точки контролю, де видно результат. Опишіть задачу — сформулюємо оцінку та порядок робіт під вашу модель.