Вы переработали страницу: новый заголовок, фото и кнопку. Конверсия подросла, но вы не знаете, какой элемент сработал. Если бы вы могли протестировать все комбинации и найти идеальное сочетание? Именно это и делает мультивариантное тестирование (MVT).
Мы — команда с 8-летним опытом в CRO. Мы провели более 30 MVT-экспериментов для интернет-магазинов, SaaS и лендингов. Наша методика гарантирует статистически значимые результаты. Например, в одном проекте мы тестировали четыре элемента на странице товара: заголовок, изображение, описание и CTA. Комбинаций было 48, но с помощью fractional factorial дизайна мы сократили до 8. Результат — рост конверсии на 23% по сравнению с первоначальной версией. В другом проекте для SaaS-сервиса MVT на странице регистрации позволил поднять конверсию на 31% за счёт изменения формы и блока отзывов. Средний рост конверсии на наших проектах — 15-30%, что при вашем текущем трафике может означать дополнительную выручку.
Что такое мультивариантное тестирование?
MVT — это метод экспериментальной оптимизации, при котором одновременно изменяются несколько элементов страницы: заголовок, изображение, CTA, форма или другие блоки. В отличие от A/B теста, где сравниваются всего две версии, MVT создаёт все возможные комбинации вариантов каждого элемента. Это позволяет не только определить победившую комбинацию, но и выявить, как элементы взаимодействуют друг с другом — так называемые эффекты взаимодействия.
Почему MVT лучше A/B теста?
| Критерий | A/B тест | MVT |
|---|---|---|
| Количество изменений | 1 (2 варианта) | 2+ элемента × N вариантов |
| Объём трафика | Меньше | Значительно больше |
| Скорость | Быстрее | Медленнее |
| Взаимодействие элементов | Не определяет | Определяет |
| Цель | Один победитель | Лучшая комбинация |
MVT незаменим, когда изменения взаимозависимы, трафика достаточно, нужно понять взаимодействие заголовок + CTA + изображение. A/B тест не покажет, что новый заголовок усиливает эффект новой кнопки, а MVT — покажет.
Как выбрать элементы для MVT?
Выбор элементов критичен. Обычно мы начинаем с тепловых карт и аналитики: где пользователи останавливаются, какие блоки кликабельны. Типичные кандидаты — заголовок, цена, изображение, CTA, форма. Важно не тестировать больше 3-4 элементов одновременно, иначе число комбинаций взрывается. Если трафика мало, применяем fractional factorial design или полный факторный эксперимент с частичным дроблением.
Как рассчитать нужный трафик для MVT?
Пример: тестировать на странице товара:
- Заголовок: 2 варианта (A, B)
- Изображение: 3 варианта (A, B, C)
- CTA кнопка: 2 варианта (A, B)
Итого: 2 × 3 × 2 = 12 комбинаций. Каждая комбинация — отдельный вариант.
Расчёт по формуле:
def mvt_sample_size(n_combinations, baseline_cr, mde=0.05, alpha=0.05, power=0.8):
"""Каждая комбинация требует столько же трафика, сколько AB тест"""
from scipy import stats
import math
p1 = baseline_cr
p2 = baseline_cr * (1 + mde)
p_avg = (p1 + p2) / 2
z_a = stats.norm.ppf(1 - alpha / 2)
z_b = stats.norm.ppf(power)
n_per_combo = ((z_a * math.sqrt(2 * p_avg * (1-p_avg)) +
z_b * math.sqrt(p1*(1-p1) + p2*(1-p2))) / (p2-p1)) ** 2
total = n_per_combo * n_combinations
print(f"Per combination: {math.ceil(n_per_combo):,}")
print(f"Total needed: {math.ceil(total):,}")
print(f"At 1000 daily visitors: {math.ceil(total/1000)} days")
mvt_sample_size(n_combinations=12, baseline_cr=0.04, mde=0.15)
# Per combination: 4,519
# Total needed: 54,228
# At 1000 daily visitors: 55 days
Если трафика недостаточно — используем fractional factorial design. Например, с Latin Square тестируем 4 комбинации вместо 12, теряя часть взаимодействий, но экономя ресурсы.
Как мы реализуем MVT на вашем сайте?
Мы используем Optimizely или собственный JavaScript-решатель. Пример программного подхода:
// Optimizely Snippet (добавить в <head>)
<script src="https://cdn.optimizely.com/js/PROJECT_ID.js"></script>
// Программный вариант
const optimizely = window.optimizely || []
// Получить вариацию для конкретного эксперимента
const variationKey = optimizely.get('state').getVariationMap()['mvt_homepage_elements']
// variationKey = "headline_B_image_C_cta_A"
// Реализация без Optimizely
function getMVTVariant(userId, elements) {
const variants = {}
for (const [element, options] of Object.entries(elements)) {
const hash = cyrb53(`${userId}_${element}`)
variants[element] = options[hash % options.length]
}
return variants
}
const elements = {
headline: ['Купите сегодня', 'Скидка 20% для новых клиентов'],
image: ['lifestyle', 'product-white', 'product-action'],
cta: ['Добавить в корзину', 'Купить сейчас'],
}
const variants = getMVTVariant(userId, elements)
// variants = { headline: 'Купите сегодня', image: 'product-action', cta: 'Купить сейчас' }
// Применить варианты к DOM
applyVariants(variants)
// Зафиксировать в аналитике
gtag('event', 'mvt_assignment', {
experiment: 'product_page_mvt',
headline: variants.headline,
image: variants.image,
cta: variants.cta,
combination: Object.values(variants).join('_')
})
Собственная реализация даёт полный контроль над экспериментом и не требует лицензионных отчислений. Мы также интегрируем тест с вашей аналитической системой — Google Analytics, Яндекс.Метрика или Amplitude. Все наши инженеры сертифицированы по Optimizely и имеют опыт работы с фреймворками React, Vue, Next.js.
Анализ результатов
import pandas as pd
from scipy import stats
def analyze_mvt(data):
"""data: DataFrame с колонками combination, visitors, conversions"""
data['cvr'] = data['conversions'] / data['visitors']
data = data.sort_values('cvr', ascending=False)
# Найти лучшую комбинацию
best = data.iloc[0]
control = data[data['combination'] == 'baseline'].iloc[0]
print(f"\nTop combinations:")
print(data.head(5).to_string())
# Статистическая значимость лучшей vs контроль
from scipy.stats import proportions_ztest
_, p_value = proportions_ztest(
[best['conversions'], control['conversions']],
[best['visitors'], control['visitors']]
)
print(f"\nBest: {best['combination']} CVR={best['cvr']:.2%}")
print(f"Control: CVR={control['cvr']:.2%}")
print(f"P-value: {p_value:.4f}")
# Анализ главных эффектов (main effects)
# Насколько каждый элемент в отдельности влияет на конверсию
for element in ['headline', 'image', 'cta']:
effect = data.groupby(element)['cvr'].mean()
print(f"\nMain effect of {element}:")
print(effect.sort_values(ascending=False))
Мы всегда анализируем главные эффекты — это помогает понять, какой элемент вносит наибольший вклад. В нашем опыте, часто изображение оказывает больший эффект, чем заголовок. Например, в одном проекте изменение только изображения дало +8% к конверсии, тогда как одновременное изменение заголовка и CTA — +12%.
Процесс работы
| Этап | Что делаем | Срок |
|---|---|---|
| Анализ | Собираем данные по текущей конверсии, определяем элементы для теста | 1-2 дня |
| Дизайн | Проектируем комбинации с учётом fractional factorial при необходимости | 1 день |
| Реализация | Настраиваем инструмент (Optimizely/JS), интегрируем с аналитикой | 1-2 дня |
| Валидация | Проверяем корректность распределения трафика, отсутствие ошибок | 1 день |
| Запуск | Запускаем тест, мониторим отклонения | 1 день |
| Анализ | По завершении собираем результаты, вычисляем победителя и главные эффекты | 1-2 дня |
Типичные ошибки при MVT
- Тестирование слишком большого количества элементов (≥5) — экспоненциальный рост комбинаций.
- Преждевременная остановка теста до достижения статистической значимости.
- Использование одинаковых вариантов для разных элементов (например, два одинаковых заголовка).
- Неучёт эффектов взаимодействия — интерпретация главных эффектов без проверки взаимодействий.
- Игнорирование сегментов трафика: на мобильных пользователях эффекты могут отличаться.
Мы гарантируем, что каждый тест проходит валидацию на корректное распределение трафика и отсутствие конфликтов с другими экспериментами.
Что входит в работу
- Документация: описание гипотез, дизайн эксперимента, план анализа.
- Реализация кода на вашем сайте (с доступом к репозиторию).
- Интеграция с Google Analytics, Яндекс.Метрикой или любой другой системой.
- Еженедельные отчёты о ходе теста.
- Финальный отчёт с рекомендациями по внедрению победившей комбинации.
- Поддержка в течение месяца после завершения теста.
Сроки и стоимость
Планирование и реализация MVT с полным анализом — от 5 до 7 рабочих дней. Стоимость рассчитывается индивидуально, в зависимости от сложности эксперимента и количества элементов. Мы гарантируем прозрачность на каждом этапе.
Если вы задумываетесь о MVT, закажите консультацию для предварительной оценки трафика и гипотез. Свяжитесь с нами, чтобы получить оценку вашего проекта. Опишите задачу, и мы предложим оптимальный план тестирования.