Донавчання Stable Diffusion методом Textual Inversion

Textual Inversion: де ламається навчання на малій вибірці

Навчання на малій вибірці майже завжди впирається в одне й те саме: референсів вистачає, щоб модель запам’ятала кадри, але не вистачає, щоб виділити в них сам об’єкт.

Двадцять-тридцять знімків з одного ракурсу, за одного світла й однакового фону — і Textual Inversion чесно вивчає все повторюване, включно з фоном.

Перенавчання моделі виглядає оманливо благополучно: помилка на навчальних прикладах падає, проміжні вибірки сходяться майже ідеально. Лише замість форми об’єкта вектор вбирає фон студії, тіні, колірну температуру й шум сенсора — те, що збігалося в усіх кадрах, але об’єктом не є.

Збій помітний не на навчанні, а на нових кадрах. Змінюються ракурс і освітлення — і втрата впізнаваності об’єкта стає очевидною: геометрія «пливе», пропорції розходяться від генерації до генерації, нестабільна генерація видає то правдоподібний силует, то випадкові артефакти. Фон при цьому протікає й у сторонні запити, яких ніхто не замовляв.

Корінь — у підготовці набору референсів: однотипні кадри не дають моделі відокремити постійну властивість об’єкта від змінних умов зйомки, і вона чіпляється за найпростіше — за антураж.

Розбираємо, як це закривається: які ознаки набору говорять про перенавчання заздалегідь і як побудувати навчання, що тримає форму об’єкта, а не фон.

Що дає впровадження: ефект без перезбирання датасету

Textual Inversion доучує Stable Diffusion на 5–15 ваших зображеннях: модель отримує окремий токен, що описує конкретного персонажа або предмет, а базові ваги залишаються недоторканими.

Один прогін навчання займає хвилини, тому робоча версія з’являється того самого дня, коли зібрано референсний набір. Перебрати формулювання запиту або додати кадри можна без перезбирання датасету — ітерації майже не забирають часу.

Частка вдалих кадрів зростає передбачувано: навчений токен фіксує обличчя, зачіску, характерні деталі одягу, і генератор перестає вигадувати їх заново на кожному прогоні. Якщо до доучування на один придатний кадр ішло 15–20 спроб, то після вистачає 2–4. Змінюється й характер роботи: час художника йде на відбір, а не на перемальовування.

Стабільність стилю — друга половина ефекту. Впізнаваність персонажа зберігається в нових сценах, позах і за різного освітлення: інтер’єр, вулиця, крупний план — обличчя залишається тим самим. Серії можна дознімати через місяці, і нові кадри зійдуться з уже затвердженими.

Окремо знімається клас відмов, знайомий тим, хто доучував модель повним перенавчанням: забування базових навичок, «пересмажена» картинка на рідкісних запитах, прив’язка до єдиного ракурсу.

Тут змінюється лише новий токен, тому інші можливості моделі залишаються робочими, а час до першої робочої версії вимірюється годинами, а не днями.

Textual Inversion чи доучування шарів: що вибрати

Вибір методу визначається не тим, який із них «сильніший», а обсягом даних і тим, наскільки нова тема відрізняється від базової моделі.

Навчання текстових підказок (Textual Inversion) змінює лише представлення слова-маркера: ваги базової моделі Stable Diffusion залишаються недоторканими, результат важить лічені кілобайти й переноситься між збірками.

Плата за компактність — обмежена виразність: підказка описує те, що модель уже вміє, і гірше тягне нові композиції.

Доучування шарів зачіпає невелику частку ваг — адаптери, яких на порядки більше, ніж у підказки. Це повноцінний вплив на стиль за помірного набору прикладів, але налаштування ручне: які шари навчати, з якою швидкістю, у який момент зупинитися.

Порівняння підходів

Перевірка одна для всіх варіантів: відкладена вибірка й порівняння з початковою моделлю. Якщо після доучування зникло те, що модель уміла раніше, кроки скорочують або переходять на легший метод.

Етапи роботи: від аудиту референсів до передачі моделі

Textual Inversion рідко спрацьовує з одного запуску: результат залежить від складу набору, якості підписів і балансу між схожістю та керованістю. Працюємо ітераціями й фіксуємо кожен крок — до передачі в замовника залишається відтворювана схема, а не один вдалий набір ваг.

1. Аудит референсів. Розбираємо вихідники: ракурси, світло, фон, дублі, артефакти стиснення. Фіксуємо, що саме має потрапити в концепт — обличчя персонажа, стиль зйомки, фактуру предмета — і які ознаки модель не повинна переймати.
2. Схема навчання. Збираємо пари «кадр — підпис», вирівнюємо підписи за шаблоном і додаємо регуляризувальні зображення, щоб концепт не «прилипав» до фону. Тут же задаємо цільові токени, швидкість навчання й кількість кроків.
3. Прогони навчання. Запускаємо кілька серій з різними налаштуваннями й зберігаємо проміжні контрольні точки — за ними видно, на якому кроці модель починає перенавчатися й втрачати керованість за текстовим описом.
4. Перевірка на нових кадрах. Проганяємо кожну версію на промптах, яких не було в наборі: зміна пози, освітлення, оточення. Дивимося не лише на схожість, а й на те, чи слухається модель опису.
5. Відбір версії моделі. Порівнюємо кандидатів за близькістю до референсу, стійкістю до перефразування промпту й відсутністю зайвих ознак. Беремо не найсхожішу, а найпередбачуванішу в роботі.
6. Передача. Віддаємо файл ембеддингу, конфігурацію запуску, набір перевірних промптів та інструкцію: як підключати концепт, з якою вагою і що робити при зміні базової моделі.

Артефакти проєкту: модель, конфігурації, регламенти

Результат проєкту — не лише робоча версія моделі, а й усе, що потрібно для її самостійної експлуатації.

Без зафіксованих параметрів навчання й регламенту повторного запуску модель швидко перетворюється на чорну скриньку: стиль відтворюється, а повторити його на нових даних команда замовника вже не може. Тому пакет передачі збираємо так, щоб він був самодостатнім.

• Ваги моделі — файл ембеддингу, навчений під ваш стиль, сумісний з актуальною гілкою генератора, плюс контрольна сума для перевірки цілісності при перенесенні.
• Файли конфігурації — параметри прогону: швидкість навчання, кількість кроків, баланс між текстовими описами й зображеннями, фіксоване зерно генерації для відтворюваності.
• Набір даних — вихідні зображення з описами, приведені до єдиного формату, з розміткою того, що в кадрі відносимо до стилю, а що вважаємо шумом.
• Регламент повторного навчання — коли запускати прогін, скільки кроків брати, за якими метриками приймати результат і в який момент зупинятися, щоб не перенавчити модель.
• Протокол приймання — набір тестових запитів, шкала відповідності стилю й перелік типових дефектів: перенавчання на вихідниках, протікання стилю базової моделі, артефакти на рідкісних сюжетах.
• Документація по моделі — карта параметрів, межі застосовності, приклади вдалих і провальних запитів із поясненням, чому вийшло так.
• Інструкція для команди — як розгорнути модель, як підключити її до генеративного контуру, що робити при деградації якості й куди дивитися в логах.
• Передача знань — розбір пакета з вашими фахівцями, відповіді на запитання по кожному файлу й запис сесії, щоб матеріал залишився всередині команди.

Пакет збирається так, щоб повторне навчання запускалося вашими силами, без звернення до нас за кожним прогоном. Опишіть задачу — повернемося з оцінкою та планом робіт.

З практики: упізнаваність персонажа без перезбирання датасету

Точка відліку

Кампанія вимагала серію кадрів з одним і тим самим персонажем: близько сорока референсів із різних зйомок — різне світло, ракурс, фон і одяг.

Упізнаваність намагалися тримати перезбиранням датасету й повним перенавчанням моделі під кожен образ: на це йшли дні, а після кожного перезбирання весь набір кадрів доводилося заново перевіряти вручну.

Що змінили

Ми відібрали референси, вичистили фон і дублі, розмітили кадри й запустили доучування на них методом Textual Inversion поверх базової моделі Stable Diffusion.

Під персонажа збирається окремий компактний набір ваг: базова модель не перезбирається, а сам набір підключається до генерації одним посиланням в описі кадру.

Що стало

Кожен новий персонаж або зміна образу — окреме навчання на своєму наборі референсів, базова модель при цьому залишається спільною. Повторний прогін на тому самому датасеті дає зіставний результат, тому версію персонажа можна зафіксувати й повертатися до неї в наступних кампаніях.

Що робити, якщо об’єкт на нових кадрах усе одно невпізнаваний

Майже завжди причина не в методі, а в наборі вихідників. Textual Inversion підбирає вектор, який домішується до підказки; ємність у нього обмежена — колір, фактуру й повторювану деталь він тягне, а складну геометрію ні.

Якщо 10–20 кадрів знято з одного боку й завжди в одній сцені, вектор вивчить сцену й світло замість об’єкта й розвалиться на нових фонах — це класичне невдале навчання.

Діагностика починається з простих перевірок. Порівнюємо результат на відкладених кадрах, яких не було в навчанні, — так перенавчання відокремлюється від недонавчання. Потім змінюємо в підказці фон і ракурс: якщо об’єкт зникає зі зміною оточення, вектор увібрав фон.

Розмиті вихідники — змаз від руху, пересвіт, дрібний кадр, розтягнутий до робочого розміру — дають схожий ефект: модель учить артефакти стиснення, а не форму.

Далі — керований повторний запуск. Чистимо набір: залишаємо різкі кадри, обрізаємо по об’єкту із запасом, вирівнюємо баланс ракурсів, викидаємо майже однакові знімки.

Знижуємо кількість кроків і швидкість навчання, ставимо контрольний замір кожні кілька ітерацій — видно момент, коли вектор починає перенавчатися. Після такого чищення об’єкт часто тримається на нових сценах уже без зміни методу.

Метод змінюємо, коли референсів об’єктивно мало або об’єкт структурно складний.

Якщо кадрів менше десятка, вони в одному ракурсі або об’єкт — механізм із дрібними деталями, ємності текстового вектора не вистачає: переходимо на доучування самої моделі Stable Diffusion окремим шаром. Воно витратніше за часом, зате краще тримає форму.

Орієнтир простий: якщо після чищення й повторного запуску схожість на відкладених кадрах не зростає — крутити параметри безглуздо, змінюємо метод.

Часті технічні сумніви перед стартом навчання

Перед стартом навчання замовники приносять питання, які стосуються не якості картинки, а меж застосовності методу. Нижче — п’ять, які найчастіше вирішують, чи варто взагалі запускати навчання.

Що з правами на базову модель і на вихідники?

У базової моделі своя ліцензія, і частина з них обмежує набір даних для навчання або комерційне використання результату. Навчений ембеддинг — похідна робота: обмеження щодо референсів (чужі фотографії, брендові персонажі, обличчя) переходять на нього. До старту фіксуємо, чиї вихідники ми використовуємо і що дозволено робити з результатом.

Як перенести навчений ембеддинг на іншу модель?

Ембеддинг зберігається окремим компактним файлом і переноситься цілком, без самої моделі. Він працює з моделями тієї самої архітектури й тієї самої базової гілки — там перенесення займає хвилини й нічого не перенавчається.

Між різними сімействами баз переноситься погано: ознаки не збігаються, і навчання доводиться повторювати на новій базі.

Чи вбудується це в поточний процес генерації?

Так, ембеддинг підхоплюється стандартним способом: у графічному інтерфейсі, у нодовому редакторі або у власному сервісі через запит із тригерним токеном. Наявні сценарії змінювати не потрібно — додається слово-перемикач і шлях до файлу ембеддингу. Якщо генерація викликається з коду, віддаємо готовий виклик і опис параметрів.

Які в методу обмеження, про які варто знати заздалегідь?

Метод керує невеликим набором понять і не додає моделі нових знань: складні сцени, точну портретну схожість і рідкісні ракурси він тримає гірше, ніж підходи з доучуванням самих ваг.

Якщо задача — «ця людина в будь-якому положенні та образі», чесніше вибрати інший спосіб, і ми говоримо про це до старту, а не після.

Обговоримо задачу: підберемо метод і повернемося з планом

Щоб розбір вихідників зайняв один прохід, а не переписку на тиждень, достатньо надіслати те, що вже є під рукою.

Ми подивимося на дані, прикинемо, який спосіб доучування спрацює — Textual Inversion, навчання окремого шару чи збирання з нуля, — і повернемося з планом робіт і датою старту навчання.

• 15–30 зображень цільового об’єкта або стилю в початковій якості, без стиснення й фільтрів;
• 3–5 прикладів того, що навчання зобов’язане відтворювати, і стільки ж — чого бути не повинно;
• опис задачі словами: де результат буде застосовуватися — ілюстрації, предметна зйомка, обличчя, типографіка;
• де планується запускати модель: власна інфраструктура чи орендована, хто і як часто буде нею користуватися;
• минулі спроби навчання, якщо були: збережені вектори, налаштування, скрипти;
• критерій приймання: що має вийти, щоб результат вважався готовим;
• контакт людини, яка приймає правки на стороні генерації.

Перший крок — обговорити задачу за цими матеріалами. Оцінка проєкту приходить разом із планом: етапи, терміни навчання, точки перевірки, на яких якість видно до фінального випуску.

Формат співпраці та обсяг участі вашої команди визначимо в тій самій розмові — старт навчання починається після погодження плану й набору даних.