Дообучение Stable Diffusion методом Textual Inversion

Textual Inversion: где ломается обучение на малой выборке

Обучение на малой выборке почти всегда упирается в одно и то же: референсов хватает, чтобы модель запомнила кадры, но не хватает, чтобы выделить в них сам объект. Двадцать-тридцать снимков с одного ракурса, при одном свете и одинаковом фоне — и Textual Inversion честно выучивает всё повторяющееся, включая фон.

Переобучение модели выглядит обманчиво благополучно: ошибка на обучающих примерах падает, промежуточные выборки сходятся почти идеально. Только вместо формы объекта вектор впитывает фон студии, тени, цветовую температуру и шум сенсора — то, что совпадало во всех кадрах, но объектом не является.

Сбой заметен не на обучении, а на новых кадрах. Меняются ракурс и освещение — и потеря узнаваемости объекта становится очевидной: геометрия «плывёт», пропорции расходятся от генерации к генерации, нестабильная генерация выдаёт то правдоподобный силуэт, то случайные артефакты. Фон при этом протекает и в посторонние запросы, которых никто не заказывал.

Корень — в подготовке набора референсов: однотипные кадры не дают модели отделить постоянное свойство объекта от переменных условий съёмки, и она цепляется за самое простое — за антураж. Разбираем, как это закрывается: какие признаки набора говорят о переобучении заранее и как построить обучение, которое держит форму объекта, а не фон.

Что даёт внедрение: эффект без пересбора датасета

Textual Inversion дообучает Stable Diffusion на 5–15 ваших изображениях: модель получает отдельный токен, описывающий конкретного персонажа или предмет, а базовые веса остаются нетронутыми. Один прогон обучения занимает минуты, поэтому рабочая версия появляется в тот же день, когда собран референсный набор. Перебрать формулировку запроса или добавить кадры можно без пересбора датасета — итерации почти не стоят времени.

Доля удачных кадров растёт предсказуемо: обученный токен фиксирует лицо, причёску, характерные детали одежды, и генератор перестаёт изобретать их заново на каждом прогоне. Если до дообучения на один пригодный кадр уходило 15–20 попыток, то после хватает 2–4. Меняется и характер работы: время художника уходит на отбор, а не на перерисовку.

Стабильность стиля — вторая половина эффекта. Узнаваемость персонажа сохраняется в новых сценах, позах и при разном освещении: интерьер, улица, крупный план — лицо остаётся тем же. Серии можно доснимать спустя месяцы, и новые кадры сойдутся с уже утверждёнными.

Отдельно снимается класс отказов, знакомый тем, кто дообучал модель полным переобучением: забывание базовых навыков, «пережаренная» картинка на редких запросах, привязка к единственному ракурсу. Здесь меняется только новый токен, поэтому остальные возможности модели остаются рабочими, а время до первой рабочей версии измеряется часами, а не днями.

Textual Inversion или дообучение слоёв: что выбрать

Выбор метода определяется не тем, какой из них «сильнее», а объёмом данных и тем, насколько новая тема отличается от базовой модели. Обучение текстовых подсказок (Textual Inversion) меняет только представление слова-маркера: веса базовой модели Stable Diffusion остаются нетронутыми, результат весит считаные килобайты и переносится между сборками. Плата за компактность — ограниченная выразительность: подсказка описывает то, что модель уже умеет, и хуже тянет новые композиции.

Дообучение слоёв затрагивает небольшую долю весов — адаптеры, которых на порядки больше, чем у подсказки. Это полноценное влияние на стиль при умеренном наборе примеров, но настройка ручная: какие слои обучать, с какой скоростью, в какой момент остановиться.

Сравнение подходов

Проверка одна для всех вариантов: отложенная выборка и сравнение с исходной моделью. Если после дообучения пропало то, что модель умела раньше, шаги срезают или переходят на более лёгкий метод.

Этапы работы: от аудита референсов до передачи модели

Textual Inversion редко срабатывает с одного запуска: результат зависит от состава набора, качества подписей и баланса между схожестью и управляемостью. Работаем итерациями и фиксируем каждый шаг — к передаче у заказчика остаётся воспроизводимая схема, а не один удачный набор весов.

1. Аудит референсов. Разбираем исходники: ракурсы, свет, фон, дубли, артефакты сжатия. Фиксируем, что именно должно попасть в концепт — лицо персонажа, стиль съёмки, фактура предмета — и какие признаки модель перенимать не должна.
2. Схема обучения. Собираем пары «кадр — подпись», выравниваем подписи по шаблону и добавляем регуляризующие изображения, чтобы концепт не «прилипал» к фону. Здесь же задаём целевые токены, скорость обучения и число шагов.
3. Прогоны обучения. Запускаем несколько серий с разными настройками и сохраняем промежуточные контрольные точки — по ним видно, на каком шаге модель начинает переучиваться и терять управляемость по текстовому описанию.
4. Проверка на новых кадрах. Прогоняем каждую версию на промптах, которых не было в наборе: смена позы, освещения, окружения. Смотрим не только на схожесть, но и на то, слушается ли модель описания.
5. Отбор версии модели. Сравниваем кандидатов по близости к референсу, устойчивости к перефразированию промпта и отсутствию лишних признаков. Берём не самую похожую, а самую предсказуемую в работе.
6. Передача. Отдаём файл эмбеддинга, конфигурацию запуска, набор проверочных промптов и инструкцию: как подключать концепт, с каким весом и что делать при смене базовой модели.

Артефакты проекта: модель, конфигурации, регламенты

Результат проекта — не только работающая версия модели, но и всё, что нужно для её самостоятельной эксплуатации. Без зафиксированных параметров обучения и регламента повторного запуска модель быстро превращается в чёрный ящик: стиль воспроизводится, а повторить его на новых данных команда заказчика уже не может. Поэтому пакет передачи собираем так, чтобы он был самодостаточным.

• Веса модели — файл эмбеддинга, обученный под ваш стиль, совместимый с актуальной веткой генератора, плюс контрольная сумма для проверки целостности при переносе.
• Файлы конфигурации — параметры прогона: скорость обучения, число шагов, баланс между текстовыми описаниями и изображениями, фиксированное зерно генерации для воспроизводимости.
• Набор данных — исходные изображения с описаниями, приведённые к единому формату, с разметкой того, что в кадре относим к стилю, а что считаем шумом.
• Регламент повторного обучения — когда запускать прогон, сколько шагов брать, по каким метрикам принимать результат и в какой момент останавливаться, чтобы не переобучить модель.
• Протокол приёмки — набор тестовых запросов, шкала соответствия стилю и перечень типовых дефектов: переобучение на исходниках, протечка стиля базовой модели, артефакты на редких сюжетах.
• Документация по модели — карта параметров, границы применимости, примеры удачных и провальных запросов с пояснением, почему получилось так.
• Инструкция для команды — как развернуть модель, как подключить её к генеративному контуру, что делать при деградации качества и куда смотреть в логах.
• Передача знаний — разбор пакета с вашими специалистами, ответы на вопросы по каждому файлу и запись сессии, чтобы материал остался внутри команды.

Пакет собирается так, чтобы повторное обучение запускалось вашими силами, без обращения к нам за каждым прогоном. Опишите задачу — вернёмся с оценкой и планом работ.

Из практики: узнаваемость персонажа без пересбора датасета

Точка отсчёта

Кампания требовала серию кадров с одним и тем же персонажем: около сорока референсов из разных съёмок — разный свет, ракурс, фон и одежда. Узнаваемость пытались держать пересбором датасета и полным переобучением модели под каждый образ: на это уходили дни, а после каждой пересборки весь набор кадров приходилось заново проверять вручную.

Что изменили

Мы отобрали референсы, вычистили фон и дубли, разметили кадры и запустили дообучение на них методом Textual Inversion поверх базовой модели Stable Diffusion. Под персонажа собирается отдельный компактный набор весов: базовая модель не пересобирается, а сам набор подключается к генерации одной ссылкой в описании кадра.

Что стало

Каждый новый персонаж или смена образа — отдельное обучение на своём наборе референсов, базовая модель при этом остаётся общей. Повторный прогон на том же датасете даёт сопоставимый результат, поэтому версию персонажа можно зафиксировать и возвращаться к ней в следующих кампаниях.

Что делать, если объект на новых кадрах всё равно неузнаваем

Почти всегда причина не в методе, а в наборе исходников. Textual Inversion подбирает вектор, который подмешивается к подсказке; ёмкость у него ограниченная — цвет, фактуру и повторяющуюся деталь он тянет, а сложную геометрию нет. Если 10–20 кадров сняты с одной стороны и всегда в одной сцене, вектор выучит сцену и свет вместо объекта и развалится на новых фонах — это классическое неудачное обучение.

Диагностика начинается с дешёвых проверок. Сравниваем результат на отложенных кадрах, которых не было в обучении, — так переобучение отделяется от недообучения. Затем меняем в подсказке фон и ракурс: если объект исчезает со сменой окружения, вектор вобрал фон. Размытые исходники — смаз от движения, пересвет, мелкий кадр, растянутый до рабочего размера — дают похожий эффект: модель учит артефакты сжатия, а не форму.

Дальше — управляемый повторный запуск. Чистим набор: оставляем резкие кадры, обрезаем по объекту с запасом, выравниваем баланс ракурсов, выбрасываем почти одинаковые снимки. Снижаем число шагов и скорость обучения, ставим контрольный замер каждые несколько итераций — видно момент, когда вектор начинает переобучаться. После такой чистки объект часто держится на новых сценах уже без смены метода.

Метод меняем, когда референсов объективно мало или объект структурно сложный. Если кадров меньше десятка, они в одном ракурсе или объект — механизм с мелкими деталями, ёмкости текстового вектора не хватает: переходим на дообучение самой модели Stable Diffusion отдельным слоем. Оно дороже по времени, зато лучше держит форму. Ориентир простой: если после чистки и повторного запуска схожесть на отложенных кадрах не растёт — крутить параметры бессмысленно, меняем метод.

Частые технические сомнения перед стартом обучения

Перед стартом обучения заказчики приносят вопросы, которые касаются не качества картинки, а границ применимости метода. Ниже — пять, которые чаще всего решают, стоит ли вообще запускать обучение.

Что с правами на базовую модель и на исходники?

У базовой модели своя лицензия, и часть из них ограничивает набор данных для обучения или коммерческое использование результата. Обученный эмбеддинг — производная работа: ограничения по референсам (чужие фотографии, брендовые персонажи, лица) переходят на него. До старта фиксируем, чьи исходники мы используем и что разрешено делать с результатом.

Как перенести обученный эмбеддинг на другую модель?

Эмбеддинг хранится отдельным компактным файлом и переносится целиком, без самой модели. Он работает с моделями той же архитектуры и той же базовой ветки — там перенос занимает минуты и ничего не переобучается. Между разными семействами баз переносится плохо: признаки не совпадают, и обучение приходится повторять на новой базе.

Встроится ли это в текущий процесс генерации?

Да, эмбеддинг подхватывается стандартным способом: в графическом интерфейсе, в нодовом редакторе или в собственном сервисе через запрос с триггерным токеном. Существующие сценарии менять не нужно — добавляется слово-переключатель и путь к файлу эмбеддинга. Если генерация вызывается из кода, отдаём готовый вызов и описание параметров.

Какие у метода ограничения, о которых стоит знать заранее?

Метод управляет небольшим набором понятий и не добавляет модели новых знаний: сложные сцены, точное портретное сходство и редкие ракурсы он держит хуже, чем подходы с дообучением самих весов. Если задача — «этот человек в любом положении и образе», честнее выбрать другой способ, и мы говорим об этом до старта, а не после.

Обсудим задачу: подберём метод и вернёмся с планом

Чтобы разбор исходников занял один проход, а не переписку на неделю, достаточно прислать то, что уже есть под рукой. Мы посмотрим на данные, прикинем, какой способ дообучения сработает — Textual Inversion, обучение отдельного слоя или сборка с нуля, — и вернёмся с планом работ и датой старта обучения.

• 15–30 изображений целевого объекта или стиля в исходном качестве, без сжатия и фильтров;
• 3–5 примеров того, что обучение обязано воспроизводить, и столько же — чего быть не должно;
• описание задачи словами: где результат будет применяться — иллюстрации, предметная съёмка, лица, типографика;
• где планируется запускать модель: своя инфраструктура или арендованная, кто и как часто будет ей пользоваться;
• прошлые попытки обучения, если были: сохранённые векторы, настройки, скрипты;
• критерий приёмки: что должно получиться, чтобы результат считался готовым;
• контакт человека, который принимает правки на стороне генерации.

Первый шаг — обсудить задачу по этим материалам. Оценка проекта приходит вместе с планом: этапы, сроки обучения, точки проверки, на которых качество видно до финального выпуска. Формат сотрудничества и объём участия вашей команды определим в том же разговоре — старт обучения начинается после согласования плана и набора данных.