Pruning нейросетей: обрезка весов для оптимизации и ускорения инференса

Pruning нейросети: где инференс упирается в предел

Модель с хорошими метриками на отложенной выборке — это ещё не модель, готовая к рабочему контуру. В лаборатории инференс модели идёт одиночными запросами на однородных данных, а в сервисе приходят пачки одновременных обращений, разная длина входных данных и пики нагрузки. Меняется не качество ответа, а цена одного прохода: задержка отклика растёт, и первой её замечает не средняя статистика, а те запросы, что попадают в хвост очереди.

Основная часть времени уходит не на арифметику, а на перекладывание весов из памяти в вычислитель. Чем шире слои и чем больше параметров участвует в каждом проходе, тем сильнее узкое место по вычислениям смещается в сторону обмена данными, а не самих операций. Добавьте выравнивание входов разной длины — и заметная доля работы тратится на позиции, которые на результат не влияют.

Обрезка весов убирает именно этот класс избыточности. Структурированная обрезка удаляет целые каналы и головы внимания, поэтому уменьшаются сами тензоры, и выигрыш сохраняется на любом вычислителе; неструктурированная разреженность без аппаратной поддержки ускорения почти не даёт. После удаления веса возвращают качество дообучением на том же домене, а не за счёт более крупной модели.

Что это меняет для сервиса: на том же оборудовании растёт число одновременных запросов, хвост задержек сокращается, а нагрузка на сервис перестаёт требовать дополнительных машин под пики. Ниже разбираем, как выбирается доля удаляемых весов и где проходит граница, за которой качество уже не восстанавливается.

Разреженность весов: что меняется после обрезки

Обрезка весов сама по себе не ускоряет вывод: если нули остаются в плотных матрицах, умножитель считает их наравне с остальными. Заметный эффект появляется там, где разреженность весов удаётся превратить в разреженные вычисления — иначе вы просто испортили качество модели, не получив взамен ничего. Поэтому после обрезки мы не смотрим на одну метрику, а гоняем чек-лист: часть пунктов ниже заказчики проверяют сами, и они же чаще всего вскрывают проблемы.

Что измеряем после каждого прохода обрезки

• Разреженность весов и цена качества. Рабочий диапазон — 50-70% нулей без переобучения; дальше обязателен дообучающий проход на исходных данных, иначе качество на редких классах проседает первым.
• Фактический размер модели. Артефакт в разреженном формате уменьшается в 2-4 раза; если файл остался прежним, нули хранятся явно и на диске экономии нет.
• Пропускная способность. При той же задержке число одновременных запросов растёт в 1,5-3 раза, но только если вычислитель умеет работать с разреженными структурами — иначе рост будет минимальным.
• Устойчивость отклика. Смотрим 95-й и 99-й перцентили задержки на живом потоке: среднее время может не измениться, а хвост вырасти из-за ветвлений и неоднородной плотности слоёв.
• Требования к оборудованию. Модель, которая раньше требовала нескольких ускорителей, после обрезки и квантования помещается на меньшее число узлов — это и есть основной источник снижения расходов на вывод.
• Смещение выходов. Обрезка меняет распределение ответов, поэтому прогоняем обе версии на одном наборе запросов и сравниваем долю расхождений — она показывает, где модель начала «плыть».
• Обратимость. Контрольная точка плотной модели и конфигурация обрезки хранятся отдельно, чтобы откат и сравнение версий занимали минуты, а не пересборку. Подходы семейства SparseGPT ускорили сам подбор разреженности, но приёмка всё равно идёт по метрикам на ваших данных.

Итог проверки — таблица «версия модели / доля нулей / размер артефакта / задержка на хвосте / пропускная способность», по которой видно, где выигрыш, а где деградация.

Режимы pruning нейросети: структурная и весовая обрезка

Выбор режима определяется не «силой» обрезки, а тем, что умеет ускорять ваша среда исполнения. Структурная обрезка удаляет целые каналы, головы внимания или блоки — на выходе остаётся плотный тензор меньшего размера, и выигрыш по времени отклика получается на обычных ядрах, без специальной поддержки. Весовая обрезка обнуляет отдельные веса, сохраняя форму тензора: доля нулей растёт, но плотное ядро считает нули наравне с остальными значениями.

Где какой режим уместен

Поэтому весовая обрезка — прежде всего про компрессию модели и хранение, а структурная — про время отклика. Режимы не исключают друг друга: рабочая схема — сначала обрезка по весам с дообучением, затем структурная подгонка под целевое оборудование, с замером метрик на отложенной выборке после каждого шага. Разбираем, как подобрать коэффициент обрезки под ваш сценарий без потери качества.

Этапы работ: от профилирования до передачи модели

Прунинг — обрезка весов — даёт выигрыш только тогда, когда каждое удаление подтверждено замером. Мы ведём проект как последовательность проверок: сначала фиксируем, сколько модель стоит сейчас, затем убираем лишнее и убеждаемся, что качество осталось на месте. Ниже — порядок, по которому идёт работа.

1. Профилирование модели. Снимаем замеры на данных заказчика: время вывода, объём занимаемой памяти, нагрузка по слоям. Видно, какие блоки тормозят вывод и где обрезка даст эффект, а где обернётся потерей качества.
2. Аудит качества. Собираем проверочный набор: реальные примеры с эталонными ответами и отдельно сложные случаи. Метрики и допустимую просадку фиксируем до начала работ, а не после.
3. Схема обрезки. Определяем, что именно убираем — отдельные веса, каналы или целые блоки — и с какой долей. Решение опирается на профиль: где запас по точности больше, режем глубже.
4. Настройка и дообучение. После обрезки точность проседает; короткое дообучение возвращает её к эталону. Формат хранения подбираем так, чтобы выигрыш не съело окружение.
5. Контроль точности. Прогоняем результат по тому же набору и сравниваем с исходной моделью. Просадка выше договорённой — откатываем шаг и меняем долю обрезки.
6. Проверка в среде заказчика. Повторяем замеры уже на целевом окружении: время вывода, память, поведение под нагрузкой.
7. Передача решения. Отдаём модель, скрипты воспроизведения замеров, правила проверки и документацию — команда заказчика повторяет цикл на своих данных без нас.

Артефакты передачи: конфигурации, схемы и регламенты

После обрезки модель живёт дольше, чем проект, в котором она появилась. Поэтому вместе с весами передаём всё, что позволяет повторить результат без нас: воспроизводимые конфигурации, схемы модели, политики прогонов и регламенты сопровождения. Ниже — полный перечень того, что остаётся у заказчика.

• Воспроизводимые конфигурации обрезки — доля отсекаемых весов, критерий важности нейронов, порядок дообучения и калибровки. Прогон по этим файлам повторяется один в один и даёт ту же модель.
• Схемы модели до и после — какие слои и блоки затронуты, где изменилась размерность, какие ветви остались разреженными. По схеме видно, почему модель стала легче без потери качества.
• Политики прогонов — когда запускается очередная обрезка, по каким метрикам качества она принимается и при каких значениях возвращается предыдущая версия.
• Набор проверок качества — эталонные входы и ожидаемые ответы, по которым сравнивается исходная и обрезанная модель. Позволяет ловить деградацию на любой последующей правке.
• Документация — описание архитектуры, границы применимости, известные ограничения и инструкция по повторению обучения на новых данных.
• Регламенты сопровождения — кто обновляет конфигурации, как добавляются новые данные, с какой периодичностью пересматриваются пороги качества и как фиксируются изменения.
• Карта окружения — версии библиотек, порядок сборки и способ упаковки модели, чтобы развёртывание на новой машине не превращалось в поиск зависимостей.

Практика: ускорение отклика без потери точности

Сервис компьютерного зрения на единичных запросах отвечал быстро, а на пиках начинал сдавать: очередь вызовов росла, часть отваливалась по времени ожидания. Добавление инстансов не помогало — узким местом было не счисление, а перекладывание весов модели на каждом проходе.

Архитектуру целиком не меняли. Разобрали карту чувствительности слоёв и сделали структурную обрезку: убрали каналы и головы внимания с наименьшим вкладом в выход, а не отдельные веса по порогу — так ускоряется реальный проход, а не только размер файла. Долю обрезки подбирали итеративно, после каждого шага — короткое дообучение на исходных данных и калибровка на живом потоке, чтобы смещение статистики не накапливалось. Считали всё на PyTorch.

Метрики до и после: обрезали около половины параметров, задержка на 99-м процентиле упала примерно вдвое, пропускная способность выросла в 2,4 раза на том же числе инстансов. Качество на контрольной выборке просело меньше чем на процент. Под трёхкратной нагрузкой сервис остался стабилен, но важнее другое — сменился класс отказов: вместо очереди и обрывов по времени ожидания мы видим предсказуемый рост задержки, который масштабирование успевает снять.

Маски обрезки и контрольные точки до сжатия сохраняем — откат к полной модели занимает минуты, если поведение в проде разойдётся с офлайновыми метриками.

Чем обрезка отличается от квантизации и дистилляции

Обрезка убирает часть весов или целые структуры — каналы, головы внимания, слои. Модель становится меньше и считается быстрее, но по-прежнему в полной разрядности. Квантизация ничего не удаляет: она снижает разрядность весов и активаций, и выигрыш даёт более дешёвая арифметика. Дистилляция меняет архитектуру целиком — компактная модель учится повторять выходы большой и уже не выводится из неё простым преобразованием.

Совмещение методов даёт не сумму, а произведение эффектов, поэтому порядок шагов важен. Дистилляцию ставят первой — она задаёт архитектуру. Затем идёт обрезка с дообучением, и только после неё квантизация: резать уже разреженную модель бессмысленно, а квантовать разреженную — выгодно.

Точность модели контролируем по шагам: замеряем целевую метрику на отложенной выборке до и после каждого преобразования и держим бюджет просадки, например не больше одного процентного пункта. В PyTorch обрезка и квантизация есть в штатных модулях, так что порядок шагов воспроизводим, а не собирается заново под каждую модель.

Сомнения по точности и устойчивости после обрезки

Потеря точности — не свойство метода, а следствие того, какие связи удалили. Мы снимаем профиль чувствительности по слоям на контрольной выборке заказчика: где запас избыточности большой, доля удаления выше, где представление плотное — минимальна. Так просадка остаётся в оговорённом коридоре, а не «как получится».

Компенсируем по ситуации: после структурной обрезки метрики возвращает короткое дообучение, при удалении дублирующих каналов обычно хватает калибровки на исходных данных. Стабильность выводов проверяем отдельно — разброс на пограничных примерах не должен вырасти.

Что делать с редкими классами?

Они просаживаются первыми: примеров мало, и веса за них уходят как малозначимые. Поэтому результат валидируем не по средней метрике, а по каждому классу отдельно, а для редких классов оставляем больше ёмкости.

Когда обрезка не поможет?

Если модель уже компактная, а узкое место — не в весах, а в подготовке данных или среде вывода. И если инфраструктура не поддерживает разреженность: веса обнулили, а ускорения нет.

Обсудим задачу: что подготовить к разговору

Оценка объёма работ по обрезке опирается не на размер модели, а на то, какие ограничения по качеству и времени отклика для вас критичны. Чем точнее исходные данные на входе, тем меньше итераций уйдёт на подбор режима обрезки и её доли по слоям.

Что помогает нам вернуться с оценкой и планом работ:

• Архитектура модели и обученный чекпоинт весов — с воспроизводимым прогоном вывода на вашей инфраструктуре.
• Целевая метрика качества и допустимая просадка: какую долю точности вы готовы отдать в обмен на ускорение.
• Ограничения по памяти и задержке: где работает модель — сервер, обычный процессор, встраиваемое устройство — и какой запас по отклику нужен.
• Калибровочный набор из реальных данных — на нём мы снимаем отклики слоёв и решаем, что можно обрезать без потери смысла.
• Схема развёртывания: формат весов, используется ли квантование, кто и как часто переобучает модель.
• Готовность к дообучению после обрезки: есть ли размеченные данные и вычислительный ресурс под восстановление качества.
• Ограничения по срокам, если у вас уже назначена дата вывода новой версии в работу.

После разговора мы возвращаемся с планом: рекомендуемая доля обрезки по слоям, способ восстановления качества, ожидаемые метрики на вашем тестовом наборе и точки контроля, где видно результат. Опишите задачу — сформулируем оценку и порядок работ под вашу модель.