AI аналіз рекламних креативів: чому прогноз CTR розходиться
Розбіжність прогнозу й факту починається не в моделі, а в постановці задачі. Рішення про долю макета ухвалюють за середніми показниками кампанії: якщо група оголошень вийшла в цільову вартість, слабкий креатив усередині неї ніхто не виокремлює.
Він добирає покази за рахунок бюджету сусідів і вигорає вже після запуску, коли правка коштує дорожче за нову зйомку.
Щоб прогноз CTR був робочим, об’єктом оцінювання має бути сам креатив, а не кампанія.
AI аналіз рекламних креативів розкладає макет на ознаки: композиція й точка уваги, об’єкт у кадрі, обсяг і читабельність тексту, контраст до фону, перший кадр відео, відповідність обіцянки аудиторії та майданчику. Далі модель зіставляє ці ознаки з фактичним відгуком схожих оголошень у порівнянних умовах показу.
Друге джерело помилки — змішування ефектів. Високий CTR може дати не композиція, а аудиторія, ставка або місце розміщення, низький — вузька вибірка на старті.
Тому ознаки макета відокремлюють від контексту показу, а оцінювання креативу до запуску йде з поправкою на те, кому й де його буде показано.
Розбіжність прогнозу й факту ми тримаємо як керовану метрику. Модель калібрують на минулих запусках: порівнюють передбачений і фактичний відгук, відсікають ознаки, які тягнуть помилку, і перезбирають ваги, доки розкид не стане передбачуваним.
Тоді слабкі макети відсікаються на етапі попереднього перегляду, а не після витраченого бюджету — і ефективність рекламних креативів оцінюється за самим оголошенням.
Нижче розбираємо, як це влаштовано в роботі й що саме ламається найчастіше.
Що дає прогноз відгуку креативу до запуску кампанії
Цикл перевірки гіпотез стискається з тижнів до днів
Модель прогнозу відгуку креативу будується на історичних даних показів і оцінює макет до запуску кампанії, а не після тижня на живому трафіку. Дизайнер і медіапланер отримують оцінку на етапі правок — заміна заголовка або кадру коштує хвилини, а не перевитрати майданчика.
Скорочення циклу тестування гіпотез відбувається за рахунок обсягу: за один прохід перевіряється не 2-3 макети, а весь пул, відсортований за очікуваним відгуком.
Єдина шкала оцінювання креативів між каналами
Одна модель оцінює макети для стрічки, банерів і відео та приводить їх до спільної шкали — порівняння перестає залежати від того, чий звіт переконливіший. Раніше макети з різних каналів зіставляли за незвідними метриками й «на око», тепер у команди один ранжований список. Шкала калібрується на даних замовника, тому оцінки порівнянні між кампаніями й сезонами.
Клас відмов «бюджет на завідомо слабкий креатив» зникає
Найдорожча помилка — коли майданчик уже витратив бюджет, а креатив дає відгук нижче базового. Прогноз відсікає такі макети до старту: у кампанію потрапляють лише ті, що проходять поріг за очікуваним відгуком.
Поріг налаштовується під задачу — для кампанії на охоплення м’якший, для кампанії на конверсію жорсткіший, тому відсів не зрізає робочі варіанти. Перші прогони показують, де модель помиляється, і її донавчають на даних самого замовника.
Режими прогнозу: пакетний, потоковий і гібридний
Режим прогнозу вибирають не за «силою» моделі, а за ритмом запусків і обсягом накопиченої історії. Якщо креативи затверджують пачками раз на тиждень і за ними вже накопичені десятки тисяч показів, логіка одна.
Якщо дизайнер завантажує макет і чекає вердикту тієї самої хвилини — інша, бо історії за цим макетом ще немає й модель спирається на ознаки самого оголошення.
Нижче — порівняння режимів прогнозу за застосовністю та обмеженнями. Ці межі ми проговорюємо до старту робіт, щоб режим не довелося змінювати в середині кампанії.
| Режим | Коли підходить | Обмеження |
|---|---|---|
| Пакетний прогноз відгуку | Регулярні перерахунки за портфелем креативів, є історія показів за місяці | Відповідь надходить за розкладом, а не на вимогу; свіжий макет чекає наступного прогону |
| Потоковий прогноз під час завантаження креативу | Потрібен вердикт у момент завантаження: дизайнер править макет і одразу бачить оцінку | Спирається на ознаки самого оголошення; на рідкісних форматах і нових майданчиках оцінка менш стійка |
| Гібридна модель оцінювання | Різний ритм запусків: масові кампанії плюс точкові тести | Потребує підтримки двох контурів і єдиного калібрування між ними |
Гібридна модель оцінювання — не запасний варіант «на всякий випадок», а робоча схема для змішаного ритму. Пакетний контур перенавчається на накопиченій історії та утримує калібрування, потоковий дає швидку відповідь на щойно завантажений макет.
Розбіжність між контурами ми вимірюємо окремо: якщо потоковий прогноз систематично завищує відгук на вузьких форматах, це видно до запуску, а не за фактом злитого бюджету.
Порівняння режимів прогнозу варто робити за двома параметрами: як часто ви запускаєте креативи й скільки історії вже розмічено.
Перемикання між режимами не означає переписування системи — ознаки, розмітка й метрики якості залишаються спільними, змінюється лише спосіб подання запиту. Розбираємо, як вибрати режим під ваш ритм запусків.
Як будується модель оцінювання креативів під ваші кампанії
Модель не можна навчити на порожньому місці: спочатку потрібно зрозуміти, які дані про минулі запуски взагалі є, у якому вони стані та чи достатньо спостережень для стійкого прогнозу.
Нижче — порядок робіт, де кожен наступний крок спирається на результат попереднього; вести їх паралельно безглуздо.
Порядок робіт
- Аудит історичних запусків. Зводимо вивантаження з рекламних кабінетів із продуктовою аналітикою, шукаємо розриви, дублі та кампанії, які вели не за загальними правилами. На виході — карта даних: що і за який період придатне для навчання.
- Розмітка історичних запусків. Приводимо креативи до єдиного вигляду й фіксуємо цільову метрику за фактом показів, а не за оцінкою менеджера. Окремо позначаємо запуски, де умови змінювалися на ходу — їх модель не повинна вважати еталоном.
- Збір і відбір ознак. З макетів, текстів, аудиторії та майданчиків формуємо набір ознак і відсіюємо ті, що пов’язані з результатом випадково. Ознака, яку не можна отримати до запуску, у модель не потрапляє.
- Навчання й калібрування прогнозу. Модель навчаємо на одному періоді, а шкалу прогнозу вирівнюємо: якщо система обіцяє креативу результат вищий за середній, ця оцінка має підтверджуватися на практиці з тією самою частотою.
- Перевірка на відкладеній вибірці. Контрольний період модель не бачила ні на навчанні, ні на налаштуванні. Дивимося не середню точність, а якість ранжування: чи правильно система сортує креативи від сильних до слабких.
- Передача команді замовника. Віддаємо код, схему даних, регламент перенавчання й межі застосовності — на яких типах кампаній прогнозу можна вірити, а де потрібна ручна перевірка.
Такий порядок дає прогноз, який відтворюється на нових запусках, а не лише на тих, за якими модель навчалася.
Що передаємо разом із моделлю: артефакти й регламенти
Передача моделі — це не файл із вагами, а комплект, за яким ваша команда може навчити, перевірити й пояснити передбачення CTR без нас. Нижче — що фізично залишається у вас після здачі рішення.
- Конфігурації навчання та інференсу: параметри, схема крос-валідації, фіксація генератора випадкових чисел — повторний запуск дає ту саму метрику, а не «приблизно схожу».
- Схема ознак: які поля логів показів і кліків входять у модель, як рахуються візуальні та текстові ознаки креативу, порядок полів, правила нормалізації й обробки пропусків.
- Політики доступу до даних кампаній: ролі й рівні доступу, знеособлення перед навчанням, строки зберігання вивантажень, журналювання звернень до датасету.
- Документація щодо моделі оцінювання: призначення, входи й виходи, діапазон і калібрування передбачень, умови застосовності та відомі обмеження — щоб результат не тлумачили ширше, ніж він є.
- Регламент перенавчання: тригери (дрейф розподілу, падіння метрики на відкладеній вибірці, новий формат креативу), періодичність, обов’язкові перевірки перед випуском.
- Моніторинг якості: набір відстежуваних метрик, пороги сповіщень, звіт про деградацію та порядок відкату до попередньої версії моделі.
- Інструкції з експлуатації: як зібрати датасет, запустити навчання, прогнати приймальні перевірки та оновити модель у робочому контурі.
Комплект закриває головний ризик — ситуацію, коли сервіс працює, а змінити в ньому будь-що можна лише через нас.
Кейс: прогноз креативів скоротив холості запуски
Що було до
Замовник — роздрібна мережа «Северный Дом»: потік нових макетів ішов безперервно, а рішення про запуск ухвалювалося за досвідом маркетолога. Кожен тестовий запуск жив два-три тижні й забирав покази у перевірених зв’язок; цільовий CTR тримали вісім-дев’ять макетів із тридцяти.
Слабкі креативи виявлялися за фактом, уже після витрат на покази, а рішення щодо наступної партії знову ухвалювалося наосліп.
Що змінили
Зібрали архів за кількома тисячами минулих креативів, розмітили їх за CTR, сезонністю та майданчиком, додали ознаки зображення, тексту й формату.
Модель оцінює кожен новий макет до запуску й вибудовує чергу за пріоритетом; раз на тиждень прогноз звіряється з фактом, і поріг відсікання перераховується на свіжих даних.
Що стало
Частка влучань у верхню чверть за CTR — близько вісімдесяти відсотків на макетах, яких модель не бачила під час навчання. Пробних запусків стало втричі менше: тестуються лише перспективні варіанти, решта чекає на чергу або йде на переробку.
Близько двох третин завідомо слабких макетів не виходять в обіг — їх відсікає попереднє оцінювання, а не витрати на покази. Підготовка рішення за партією макетів скоротилася з трьох днів до години.
Що робити, якщо вже розгорнуто власну модель оцінювання?
Так, вбудуватися в працюючу модель можна, і перенавчати її з нуля не потрібно. Ми не замінюємо ваш контур, а розширюємо набір ознак і порівнюємо прогнози на тих самих даних.
Попередні рішення залишаються чинними, доки нова гілка не покаже стійко кращий результат на відкладеній вибірці.
Інтеграція із наявною моделлю йде паралельним контуром: ваша версія продовжує видавати оцінку, нова працює поруч на тому самому потоці креативів. Прогнози обох версій пишуться в спільний журнал — версіонування й трасування ведемо в MLflow.
Порівнюємо їх за єдиними метриками: якість ранжування, помилка прогнозу, частка збігів у верхівці списку.
Основний приріст дає доповнення ознак: до вашого вектора додаємо візуальні та текстові ембедінги креативу, структуру кадру, динаміку перших секунд і історичні метрики розміщення.
Навчання йде на тій самій розмітці та тому самому горизонті прогнозу — інакше порівняння підходів до прогнозу стає некоректним.
Далі вибираємо з трьох схем: донавчання вашої моделі на розширеному векторі, окрема надбудова над її оцінкою або гібрид із незалежним прогнозом. Критерій — обсяг історії та стабільність даних, а не звичка до поточної схеми.
Оборотність закладаємо одразу: версії фіксуються, поріг перемикання задається заздалегідь, повернення до попередньої логіки займає один крок. Поточні процеси ухвалення рішень при цьому не зупиняються.
Технічні сумніви: дані, точність, інтеграція
Перед стартом інженери й керівники напряму ставлять ті самі запитання: чи вистачить накопиченої історії, як вимірюється точність прогнозу відгуку, де фізично лежать дані кампаній і чи не витіснить модель звичну перевірку на частині аудиторії. Відповідаємо по суті — без обіцянок «передбачаємо відгук із точністю до відсотка».
Модель ранжує креативи відносно один одного та відносно базової лінії кампанії, а не видає абсолютну цифру. Тому якість фіксуємо на відкладеному періоді: як часто найкращий варіант за прогнозом виявляється найкращим за фактом, і наскільки стійкий порядок у верхній частині списку.
Якої точності прогнозу відгуку чекати?
Дивимося на два показники: частка правильно впорядкованих пар креативів і калібрування — чи збігається заявлена ймовірність відгуку зі спостережуваною частотою. Практична користь з’являється, коли модель упевнено відділяє верхню третину варіантів від нижньої.
Скільки потрібно історичних даних?
Мінімум — кілька тисяч показів на креатив і повні цикли кампаній, включно з різними сезонами та майданчиками, інакше модель навчається на зміщеній вибірці. За дефіциту історії переносимо залежності зі схожих напрямів і донавчаємо на ваших даних.
Де зберігаються дані кампаній?
Сирі логи з показами й кліками залишаються у вашому контурі; назовні йдуть знеособлені агрегати та ознаки. Розмежування доступів, журналювання звернень і строки зберігання узгоджуємо до початку робіт.
Модель замінить перевірку на частині аудиторії?
Ні, це фільтр перед нею. Модель відсіює завідомо слабкі варіанти й скорочує кількість гіпотез, а перевірка на частині аудиторії підтверджує результат на живому трафіку — вона залишається фінальним арбітром.
Обговоримо задачу: що підготувати до першого розбору
Розбір задачі починається з вхідних даних — це ті самі дані, на яких потім навчається модель. Чим повніші вивантаження й зрозуміліші обмеження, тим раніше ми скажемо, який приріст точності реальний для вашого інвентарю, а який ні.
- Вивантаження креативів за минулі кампанії: зображення, відео, тексти, розміри майданчиків — від кількох сотень оголошень, щоб модель ловила закономірності, а не запам’ятовувала поодинокі випадки.
- Покази, кліки, конверсії та витрати за кожним оголошенням із розбивкою за майданчиками й датами — без цих зрізів не побудувати чесну цільову метрику.
- Склад аудиторних сегментів і географія показів: вони впливають на CTR сильніше за сам візуал, і це потрібно врахувати в ознаках.
- Доступи до рекламних кабінетів у режимі читання або вивантаження через API — забираємо дані регулярно, не заважаючи поточним кампаніям.
- Обмеження: перевірені гіпотези, заборонені формати, що не можна змінювати в медіаплані.
- Горизонт прогнозу: оцінка до запуску або перерахунок на льоту для коригування ставок.
За цим набором повернемося з планом робіт із прогнозу креативів: обсяг розмітки, схема валідації, метрики якості, точки інтеграції з кабінетами та порядок тестового запуску на одній кампанії.
Опишіть задачу — які креативи аналізуєте, скільки оголошень в обігу й що вже пробували. Повернемося з оцінкою та планом.
