Ви переробили сторінку: новий заголовок, фото та кнопку. Конверсія трохи зросла, але ви не знаєте, який елемент спрацював. Якби ви могли протестувати всі комбінації та знайти ідеальне поєднання? Саме це й робить мультиваріантне тестування (MVT).
Ми — команда з 8-річним досвідом у CRO. Ми провели понад 30 MVT-експериментів для інтернет-магазинів, SaaS та лендінгів. Наша методика гарантує статистично значущі результати. Наприклад, в одному проєкті ми тестували чотири елементи на сторінці товару: заголовок, зображення, опис і CTA. Комбінацій було 48, але за допомогою fractional factorial дизайну ми скоротили до 8. Результат — зростання конверсії на 23% порівняно з початковою версією. В іншому проєкті для SaaS-сервісу MVT на сторінці реєстрації дозволив підняти конверсію на 31% за рахунок зміни форми та блоку відгуків. Середнє зростання конверсії на наших проєктах — 15-30%, що при вашому поточному трафіку може означати додатковий виторг.
Що таке мультиваріантне тестування?
MVT — це метод експериментальної оптимізації, при якому одночасно змінюються кілька елементів сторінки: заголовок, зображення, CTA, форма або інші блоки. На відміну від A/B тесту, де порівнюються лише дві версії, MVT створює всі можливі комбінації варіантів кожного елемента. Це дозволяє не тільки визначити переможну комбінацію, але й виявити, як елементи взаємодіють один з одним — так звані ефекти взаємодії.
Чому MVT кращий за A/B тест?
| Критерій | A/B тест | MVT |
|---|---|---|
| Кількість змін | 1 (2 варіанти) | 2+ елементи × N варіантів |
| Об'єм трафіку | Менше | Значно більше |
| Швидкість | Швидше | Повільніше |
| Взаємодія елементів | Не визначає | Визначає |
| Мета | Один переможець | Найкраща комбінація |
MVT незамінний, коли зміни взаємозалежні, трафіку достатньо, потрібно зрозуміти взаємодію заголовок + CTA + зображення. A/B тест не покаже, що новий заголовок посилює ефект нової кнопки, а MVT — покаже.
Як вибрати елементи для MVT?
Вибір елементів критичний. Зазвичай ми починаємо з теплових карт та аналітики: де користувачі зупиняються, які блоки клікабельні. Типові кандидати — заголовок, ціна, зображення, CTA, форма. Важливо не тестувати більше 3-4 елементів одночасно, інакше число комбінацій вибухає. Якщо трафіку мало, застосовуємо fractional factorial design або повний факторний експеримент з частковим дробленням.
Як розрахувати потрібний трафік для MVT?
Приклад: тестувати на сторінці товару:
- Заголовок: 2 варіанти (A, B)
- Зображення: 3 варіанти (A, B, C)
- CTA кнопка: 2 варіанти (A, B)
Разом: 2 × 3 × 2 = 12 комбінацій. Кожна комбінація — окремий варіант.
Розрахунок за формулою:
def mvt_sample_size(n_combinations, baseline_cr, mde=0.05, alpha=0.05, power=0.8):
"""Кожна комбінація потребує стільки ж трафіку, як AB тест"""
from scipy import stats
import math
p1 = baseline_cr
p2 = baseline_cr * (1 + mde)
p_avg = (p1 + p2) / 2
z_a = stats.norm.ppf(1 - alpha / 2)
z_b = stats.norm.ppf(power)
n_per_combo = ((z_a * math.sqrt(2 * p_avg * (1-p_avg)) +
z_b * math.sqrt(p1*(1-p1) + p2*(1-p2))) / (p2-p1)) ** 2
total = n_per_combo * n_combinations
print(f"Per combination: {math.ceil(n_per_combo):,}")
print(f"Total needed: {math.ceil(total):,}")
print(f"At 1000 daily visitors: {math.ceil(total/1000)} days")
mvt_sample_size(n_combinations=12, baseline_cr=0.04, mde=0.15)
# Per combination: 4,519
# Total needed: 54,228
# At 1000 daily visitors: 55 days
Якщо трафіку недостатньо — використовуємо fractional factorial design. Наприклад, з Latin Square тестуємо 4 комбінації замість 12, втрачаючи частину взаємодій, але економлячи ресурси.
Як ми реалізуємо MVT на вашому сайті?
Ми використовуємо Optimizely або власний JavaScript-вирішувач. Приклад програмного підходу:
// Optimizely Snippet (додати в <head>)
<script src="https://cdn.optimizely.com/js/PROJECT_ID.js"></script>
// Програмний варіант
const optimizely = window.optimizely || []
// Отримати варіацію для конкретного експерименту
const variationKey = optimizely.get('state').getVariationMap()['mvt_homepage_elements']
// variationKey = "headline_B_image_C_cta_A"
// Реалізація без Optimizely
function getMVTVariant(userId, elements) {
const variants = {}
for (const [element, options] of Object.entries(elements)) {
const hash = cyrb53(`${userId}_${element}`)
variants[element] = options[hash % options.length]
}
return variants
}
const elements = {
headline: ['Купуйте сьогодні', 'Знижка 20% для нових клієнтів'],
image: ['lifestyle', 'product-white', 'product-action'],
cta: ['Додати в кошик', 'Купити зараз'],
}
const variants = getMVTVariant(userId, elements)
// variants = { headline: 'Купуйте сьогодні', image: 'product-action', cta: 'Купити зараз' }
// Застосувати варіанти до DOM
applyVariants(variants)
// Зафіксувати в аналітиці
gtag('event', 'mvt_assignment', {
experiment: 'product_page_mvt',
headline: variants.headline,
image: variants.image,
cta: variants.cta,
combination: Object.values(variants).join('_')
})
Власна реалізація дає повний контроль над експериментом і не потребує ліцензійних відрахувань. Ми також інтегруємо тест з вашою аналітичною системою — Google Analytics, Яндекс.Метрика або Amplitude. Всі наші інженери сертифіковані за Optimizely та мають досвід роботи з фреймворками React, Vue, Next.js.
Аналіз результатів
import pandas as pd
from scipy import stats
def analyze_mvt(data):
"""data: DataFrame з колонками combination, visitors, conversions"""
data['cvr'] = data['conversions'] / data['visitors']
data = data.sort_values('cvr', ascending=False)
# Знайти найкращу комбінацію
best = data.iloc[0]
control = data[data['combination'] == 'baseline'].iloc[0]
print(f"\nTop combinations:")
print(data.head(5).to_string())
# Статистична значущість найкращої vs контроль
from scipy.stats import proportions_ztest
_, p_value = proportions_ztest(
[best['conversions'], control['conversions']],
[best['visitors'], control['visitors']]
)
print(f"\nBest: {best['combination']} CVR={best['cvr']:.2%}")
print(f"Control: CVR={control['cvr']:.2%}")
print(f"P-value: {p_value:.4f}")
# Аналіз головних ефектів (main effects)
# Наскільки кожен елемент окремо впливає на конверсію
for element in ['headline', 'image', 'cta']:
effect = data.groupby(element)['cvr'].mean()
print(f"\nMain effect of {element}:")
print(effect.sort_values(ascending=False))
Ми завжди аналізуємо головні ефекти — це допомагає зрозуміти, який елемент вносить найбільший внесок. У нашому досвіді, часто зображення має більший ефект, ніж заголовок. Наприклад, в одному проєкті зміна лише зображення дала +8% до конверсії, тоді як одночасна зміна заголовка та CTA — +12%.
Процес роботи
| Етап | Що робимо | Термін |
|---|---|---|
| Аналіз | Збираємо дані по поточній конверсії, визначаємо елементи для тесту | 1-2 дні |
| Дизайн | Проектуємо комбінації з урахуванням fractional factorial при необхідності | 1 день |
| Реалізація | Налаштовуємо інструмент (Optimizely/JS), інтегруємо з аналітикою | 1-2 дні |
| Валідація | Перевіряємо коректність розподілу трафіку, відсутність помилок | 1 день |
| Запуск | Запускаємо тест, моніторимо відхилення | 1 день |
| Аналіз | Після завершення збираємо результати, обчислюємо переможця та головні ефекти | 1-2 дні |
Типові помилки при MVT
- Тестування занадто великої кількості елементів (≥5) — експоненційне зростання комбінацій.
- Передчасна зупинка тесту до досягнення статистичної значущості.
- Використання однакових варіантів для різних елементів (наприклад, два однакові заголовки).
- Не врахування ефектів взаємодії — інтерпретація головних ефектів без перевірки взаємодій.
- Ігнорування сегментів трафіку: на мобільних користувачах ефекти можуть відрізнятися.
Ми гарантуємо, що кожен тест проходить валідацію на коректний розподіл трафіку та відсутність конфліктів з іншими експериментами.
Що входить в роботу
- Документація: опис гіпотез, дизайн експерименту, план аналізу.
- Реалізація коду на вашому сайті (з доступом до репозиторію).
- Інтеграція з Google Analytics, Яндекс.Метрикою або будь-якою іншою системою.
- Щотижневі звіти про хід тесту.
- Фінальний звіт з рекомендаціями щодо впровадження переможної комбінації.
- Підтримка протягом місяця після завершення тесту.
Терміни та вартість
Планування та реалізація MVT з повним аналізом — від 5 до 7 робочих днів. Вартість розраховується індивідуально, залежно від складності експерименту та кількості елементів. Ми гарантуємо прозорість на кожному етапі.
Якщо ви задумуєтеся про MVT, замовте консультацію для попередньої оцінки трафіку та гіпотез. Зв'яжіться з нами, щоб отримати оцінку вашого проєкту. Опишіть задачу, і ми запропонуємо оптимальний план тестування.