AI-система анализа эффективности рекламных креативов: предсказание CTR

AI анализ рекламных креативов: почему прогноз CTR расходится

Расхождение прогноза и факта начинается не в модели, а в постановке задачи. Решение о судьбе макета принимают по средним показателям кампании: если группа объявлений вышла в целевую стоимость, слабый креатив внутри неё никто не вычленяет. Он добирает показы за счёт бюджета соседей и выгорает уже после запуска, когда правка стоит дороже новой съёмки.

Чтобы прогноз CTR был рабочим, объектом оценки должен быть сам креатив, а не кампания. AI анализ рекламных креативов раскладывает макет на признаки: композиция и точка внимания, объект в кадре, объём и читаемость текста, контраст к фону, первый кадр видео, соответствие обещания аудитории и площадке. Дальше модель сопоставляет эти признаки с фактическим откликом похожих объявлений в сопоставимых условиях показа.

Второй источник ошибки — смешение эффектов. Высокий CTR способна дать не композиция, а аудитория, ставка или место размещения, низкий — узкая выборка на старте. Поэтому признаки макета отделяют от контекста показа, а оценка креатива до запуска идёт с поправкой на то, кому и где он будет показан.

Расхождение прогноза и факта мы держим как управляемую метрику. Модель калибруют на прошлых запусках: сравнивают предсказанный и фактический отклик, отсекают признаки, которые тянут ошибку, и пересобирают веса, пока разброс не станет предсказуемым. Тогда слабые макеты отсекаются на этапе предпросмотра, а не после потраченного бюджета — и эффективность рекламных креативов оценивается по самому объявлению.

Ниже разбираем, как это устроено в работе и что именно ломается чаще всего.

Что даёт прогноз отклика креатива до запуска кампании

Цикл проверки гипотез сжимается с недель до дней

Модель прогноза отклика креатива строится на исторических данных показов и оценивает макет до запуска кампании, а не после недели на живом трафике. Дизайнер и медиапланер получают оценку на этапе правок — замена заголовка или кадра стоит минуты, а не перерасхода площадки. Сокращение цикла тестирования гипотез идёт за счёт объёма: за один проход проверяется не 2-3 макета, а весь пул, отсортированный по ожидаемому отклику.

Единая шкала оценки креативов между каналами

Одна модель оценивает макеты для ленты, баннеров и видео и приводит их к общей шкале — сравнение перестаёт зависеть от того, чей отчёт убедительнее. Раньше макеты из разных каналов сопоставляли по несводимым метрикам и «на глаз», теперь у команды один ранжированный список. Шкала калибруется на данных заказчика, поэтому оценки сопоставимы между кампаниями и сезонами.

Класс отказов «бюджет на заведомо слабый креатив» уходит

Самая дорогая ошибка — когда площадка уже израсходовала бюджет, а креатив даёт отклик ниже базового. Прогноз отсекает такие макеты до старта: в кампанию попадают только проходящие порог по ожидаемому отклику. Порог настраивается под задачу — для охватной кампании мягче, для кампании на конверсию жёстче, поэтому отсев не срезает рабочие варианты. Первые прогоны показывают, где модель ошибается, и её дообучают на данных самого заказчика.

Режимы прогноза: пакетный, потоковый и гибридный

Режим прогноза выбирают не по «силе» модели, а по ритму запусков и объёму накопленной истории. Если креативы утверждают пачками раз в неделю и по ним уже накоплены десятки тысяч показов, логика одна. Если дизайнер загружает макет и ждёт вердикт в ту же минуту — другая, потому что истории по этому макету ещё нет и модель опирается на признаки самого объявления.

Ниже — сравнение режимов прогноза по применимости и ограничениям. Эти границы мы проговариваем до старта работ, чтобы режим не пришлось менять в середине кампании.

Гибридная модель оценки — не запасной вариант «на всякий случай», а рабочая схема для смешанного ритма. Пакетный контур переобучается на накопленной истории и удерживает калибровку, потоковый отдаёт быстрый ответ на только что загруженный макет. Расхождение между контурами мы измеряем отдельно: если потоковый прогноз систематически завышает отклик на узких форматах, это видно до запуска, а не по факту слитого бюджета.

Сравнение режимов прогноза стоит делать по двум параметрам: как часто вы запускаете креативы и сколько истории уже размечено. Переключение между режимами не означает переписывание системы — признаки, разметка и метрики качества остаются общими, меняется только способ подачи запроса. Разбираем, как выбрать режим под ваш ритм запусков.

Как строится модель оценки креативов под ваши кампании

Модель нельзя обучить на пустом месте: сначала нужно понять, какие данные о прошлых запусках вообще есть, в каком они состоянии и достаточно ли наблюдений для устойчивого прогноза. Ниже — порядок работ, где каждый следующий шаг опирается на результат предыдущего; параллельно их вести бессмысленно.

Порядок работ

1. Аудит исторических запусков. Сводим выгрузки из рекламных кабинетов с продуктовой аналитикой, ищем разрывы, дубли и кампании, которые вели не по общим правилам. На выходе — карта данных: что и за какой период пригодно для обучения.
2. Разметка исторических запусков. Приводим креативы к единому виду и фиксируем целевую метрику по факту показов, а не по оценке менеджера. Отдельно помечаем запуски, где условия менялись на ходу — их модель не должна считать эталоном.
3. Сбор и отбор признаков. Из макетов, текстов, аудитории и площадок формируем набор признаков и отсеиваем те, что связаны с результатом случайно. Признак, который нельзя получить до запуска, в модель не попадает.
4. Обучение и калибровка прогноза. Модель учим на одном периоде, а шкалу прогноза выравниваем: если система обещает креативу результат выше среднего, эта оценка должна подтверждаться на практике с той же частотой.
5. Проверка на отложенной выборке. Контрольный период модель не видела ни на обучении, ни на настройке. Смотрим не среднюю точность, а качество ранжирования: правильно ли система сортирует креативы от сильных к слабым.
6. Передача команде заказчика. Отдаём код, схему данных, регламент переобучения и границы применимости — на каких типах кампаний прогнозу можно верить, а где нужна ручная проверка.

Такой порядок даёт прогноз, который воспроизводится на новых запусках, а не только на тех, по которым модель училась.

Что передаём вместе с моделью: артефакты и регламенты

Передача модели — это не файл с весами, а комплект, по которому ваша команда может обучить, проверить и объяснить предсказание CTR без нас. Ниже — что физически остаётся у вас после сдачи решения.

• Конфигурации обучения и инференса: параметры, схема кросс-валидации, фиксация генератора случайных чисел — повторный запуск даёт ту же метрику, а не «примерно похожую».
• Схема признаков: какие поля логов показов и кликов входят в модель, как считаются визуальные и текстовые признаки креатива, порядок полей, правила нормализации и обработки пропусков.
• Политики доступа к данным кампаний: роли и уровни доступа, обезличивание перед обучением, сроки хранения выгрузок, журналирование обращений к датасету.
• Документация по модели оценки: назначение, входы и выходы, диапазон и калибровка предсказаний, условия применимости и известные ограничения — чтобы результат не толковали шире, чем он есть.
• Регламент переобучения: триггеры (дрейф распределения, падение метрики на отложенной выборке, новый формат креатива), периодичность, обязательные проверки перед выкатом.
• Мониторинг качества: набор отслеживаемых метрик, пороги уведомлений, отчёт о деградации и порядок отката на предыдущую версию модели.
• Инструкции по эксплуатации: как собрать датасет, запустить обучение, прогнать приёмочные проверки и обновить модель в рабочем контуре.

Комплект закрывает главный риск — ситуацию, когда сервис работает, а изменить в нём что-либо можно только через нас.

Кейс: прогноз креативов сократил холостые запуски

Что было до

Заказчик — розничная сеть «Северный Дом»: поток новых макетов шёл непрерывно, а решение о запуске принималось по опыту маркетолога. Каждый тестовый запуск жил две-три недели и забирал показы у проверенных связок; целевой CTR держали восемь-девять макетов из тридцати. Слабые креативы выявлялись по факту, уже после расхода на показы, а решение по следующей партии снова принималось вслепую.

Что изменили

Собрали архив по нескольким тысячам прошлых креативов, разметили их по CTR, сезонности и площадке, добавили признаки изображения, текста и формата. Модель оценивает каждый новый макет до запуска и выстраивает очередь по приоритету; раз в неделю прогноз сверяется с фактом, и порог отсечения пересчитывается на свежих данных.

Что стало

Доля попаданий в верхнюю четверть по CTR — около восьмидесяти процентов на макетах, которых модель не видела при обучении. Пробных запусков стало меньше втрое: тестируются только перспективные варианты, остальные ждут очереди или уходят на переделку. Около двух третей заведомо слабых макетов не выходят в оборот — их отсекает предварительная оценка, а не расход на показы. Подготовка решения по партии макетов сократилась с трёх дней до часа.

Что делать, если уже развёрнута своя модель оценки?

Да, встроиться в работающую модель можно, и переобучать её с нуля не нужно. Мы не заменяем ваш контур, а расширяем набор признаков и сравниваем прогнозы на одних и тех же данных. Прежние решения остаются в силе, пока новая ветка не покажет устойчиво лучший результат на отложенной выборке.

Интеграция с существующей моделью идёт параллельным контуром: ваша версия продолжает выдавать оценку, новая работает рядом на том же потоке креативов. Прогнозы обеих версий пишутся в общий журнал — версионирование и трассировку ведём в MLflow. Сравниваем их по единым метрикам: качество ранжирования, ошибка прогноза, доля совпадений в верхушке списка.

Основной прирост даёт дополнение признаков: к вашему вектору добавляем визуальные и текстовые эмбеддинги креатива, структуру кадра, динамику первых секунд и исторические метрики размещения. Обучение идёт на той же разметке и том же горизонте прогноза — иначе сравнение подходов к прогнозу становится некорректным.

Дальше выбираем из трёх схем: дообучение вашей модели на расширенном векторе, отдельная надстройка над её оценкой или гибрид с независимым прогнозом. Критерий — объём истории и стабильность данных, а не привычка к текущей схеме.

Обратимость закладываем сразу: версии фиксируются, порог переключения задаётся заранее, возврат к прежней логике занимает один шаг. Текущие процессы принятия решений при этом не останавливаются.

Технические сомнения: данные, точность, интеграция

Перед стартом инженеры и руководители направления задают одни и те же вопросы: хватит ли накопленной истории, как измеряется точность прогноза отклика, где физически лежат данные кампаний и не вытеснит ли модель привычную проверку на части аудитории. Отвечаем по существу — без обещаний «предсказываем отклик с точностью до процента».

Модель ранжирует креативы относительно друг друга и относительно базовой линии кампании, а не выдаёт абсолютную цифру. Поэтому качество фиксируем на отложенном периоде: как часто лучший вариант по прогнозу оказывается лучшим по факту, и насколько устойчив порядок в верхней части списка.

Сколько нужно исторических данных?

Минимум — несколько тысяч показов на креатив и полные циклы кампаний, включая разные сезоны и площадки, иначе модель учится на смещённой выборке. При дефиците истории переносим зависимости с похожих направлений и дообучаем на ваших данных.

Где хранятся данные кампаний?

Сырые логи с показами и кликами остаются в вашем контуре; наружу уходят обезличенные агрегаты и признаки. Разграничение доступов, журналирование обращений и сроки хранения согласуем до начала работ.

Модель заменит проверку на части аудитории?

Нет, это фильтр перед ней. Модель отсеивает заведомо слабые варианты и сокращает число гипотез, а проверка на части аудитории подтверждает результат на живом трафике — она остаётся финальным арбитром.

Обсудим задачу: что подготовить к первому разбору

Разбор задачи начинается с вводных — это те же данные, на которых потом учится модель. Чем полнее выгрузки и понятнее ограничения, тем раньше мы скажем, какой прирост точности реален для вашего инвентаря, а какой нет.

• Выгрузка креативов за прошлые кампании: изображения, видео, тексты, размеры площадок — от нескольких сотен объявлений, чтобы модель ловила закономерности, а не запоминала единичные случаи.
• Показы, клики, конверсии и расход по каждому объявлению с разбивкой по площадкам и датам — без этих срезов не построить честную целевую метрику.
• Состав аудиторных сегментов и география показов: они влияют на CTR сильнее самого визуала, и это нужно учесть в признаках.
• Доступы к рекламным кабинетам в режиме чтения или выгрузки через API — забираем данные регулярно, не мешая текущим кампаниям.
• Ограничения: проверенные гипотезы, запрещённые форматы, что нельзя менять в медиаплане.
• Горизонт прогноза: оценка до запуска или пересчёт на лету для корректировки ставок.

По этому набору вернёмся с планом работ по прогнозу креативов: объём разметки, схема валидации, метрики качества, точки интеграции с кабинетами и порядок тестового запуска на одной кампании.

Опишите задачу — какие креативы анализируете, сколько объявлений в обороте и что уже пробовали. Вернёмся с оценкой и планом.