Налаштування A/B тестування розсилок Бітрікс24

Налаштування A/B тестування розсилок Бітрікс24

A/B тестування розсилок у Бітрікс24 — це вбудований інструмент модуля sender, що дозволяє порівнювати варіанти теми листа, імені відправника або контенту на підвибірці аудиторії, а потім автоматично розсилати переможний варіант решті підписників. Звучить просто, але конфігурація впливає на статистичну достовірність результату — якщо тест налаштований недбало, «переможець» виявиться випадковим.

Механіка A/B тесту в модулі sender

При створенні розсилки переходимо до налаштувань кампанії та активуємо режим «A/B-тест». Бітрікс24 дозволяє тестувати:

• Тему листа (SUBJECT)
• Ім'я відправника (FROM_NAME)
• Вміст листа (різні шаблони)

Аудиторія ділиться на групи: можна задати частку кожної тестової групи у відсотках від загальної бази. Наприклад, 15% отримують варіант A, 15% — варіант B, решта 70% чекають «переможця». Переможець визначається за метрикою: Open Rate або Click Rate. Час очікування до підведення підсумків — параметр, що налаштовується в годинах.

Дані про відкриття та кліки збираються через трекінг-піксель і редирект-посилання. Піксель вбудовується в шаблон автоматично — це однопіксельне зображення, запит до якого фіксується в b_sender_mailing_chain_table. Кліки відстежуються через редирект із UTM-мітками через домен порталу.

Статистична достовірність: що часто ігнорують

Головна помилка при налаштуванні A/B тесту — надто мала тестова вибірка або надто короткий час очікування. Якщо база 500 осіб, а тестова група 10% — у кожному варіанті 25 адресатів. Різниця в одному відкритті між варіантами — це 4% різниці Open Rate, статистично нічого не означає.

Мінімальна вибірка для кожного варіанту — близько 100 отримувачів, щоб можна було говорити про тенденцію. Для результатів із p<0.05 потрібно більше. Вбудовані інструменти Бітрікс24 не показують p-value — просто вибирають «більший» показник. Для серйозного тестування експортуємо дані з b_sender_mailing_chain_table і рахуємо z-тест вручну або через сторонній інструмент.

Час очікування. Open Rate значною мірою формується впродовж перших 24–48 годин. Встановлювати вікно менше 4 годин — означає вимірювати лише тих, хто перевіряє пошту вранці. Оптимально: 24 години у будні, 48 годин якщо розсилка потрапляє на вихідні.

Налаштування UTM-міток і аналітики

За замовчуванням посилання в листах Бітрікс24 отримують UTM-мітки вигляду utm_source=bitrix24&utm_medium=email. Для A/B тестування критично розділяти трафік за варіантами. Налаштовуємо кастомні UTM у шаблоні вручну або через системні змінні:

utm_source=email&utm_medium=newsletter&utm_campaign=promo_march&utm_content=variant_a

Варіант B отримує utm_content=variant_b. Це дозволяє порівнювати не лише відкриття та кліки всередині Бітрікс24, а й поведінку на сайті в Google Analytics — конверсії, глибину перегляду, досягнення цілей.

Етапи налаштування

1. Перевірка бази підписників: актуальність, відсутність дублів, коректність сегментації
2. Визначення гіпотези тесту та метрики перемоги (Open Rate vs Click Rate)
3. Розрахунок необхідної вибірки під цільовий розмір ефекту
4. Підготовка варіантів A і B (тема або шаблон)
5. Налаштування кампанії в модулі sender: частка груп, час очікування, критерій перемоги
6. Перевірка трекінгу: тестове відправлення з перевіркою пікселя та редиректів
7. Запуск, моніторинг, аналіз результатів

Вартість розраховується індивідуально.