Мультивариантное тестирование сайта (MVT) — оптимизация конверсии

Вы переработали страницу: новый заголовок, фото и кнопку. Конверсия подросла, но вы не знаете, какой элемент сработал. Если бы вы могли протестировать все комбинации и найти идеальное сочетание? Именно это и делает мультивариантное тестирование (MVT).

Мы — команда с 8-летним опытом в CRO. Мы провели более 30 MVT-экспериментов для интернет-магазинов, SaaS и лендингов. Наша методика гарантирует статистически значимые результаты. Например, в одном проекте мы тестировали четыре элемента на странице товара: заголовок, изображение, описание и CTA. Комбинаций было 48, но с помощью fractional factorial дизайна мы сократили до 8. Результат — рост конверсии на 23% по сравнению с первоначальной версией. В другом проекте для SaaS-сервиса MVT на странице регистрации позволил поднять конверсию на 31% за счёт изменения формы и блока отзывов. Средний рост конверсии на наших проектах — 15-30%, что при вашем текущем трафике может означать дополнительную выручку.

Что такое мультивариантное тестирование?

MVT — это метод экспериментальной оптимизации, при котором одновременно изменяются несколько элементов страницы: заголовок, изображение, CTA, форма или другие блоки. В отличие от A/B теста, где сравниваются всего две версии, MVT создаёт все возможные комбинации вариантов каждого элемента. Это позволяет не только определить победившую комбинацию, но и выявить, как элементы взаимодействуют друг с другом — так называемые эффекты взаимодействия.

Почему MVT лучше A/B теста?

MVT незаменим, когда изменения взаимозависимы, трафика достаточно, нужно понять взаимодействие заголовок + CTA + изображение. A/B тест не покажет, что новый заголовок усиливает эффект новой кнопки, а MVT — покажет.

Как выбрать элементы для MVT?

Выбор элементов критичен. Обычно мы начинаем с тепловых карт и аналитики: где пользователи останавливаются, какие блоки кликабельны. Типичные кандидаты — заголовок, цена, изображение, CTA, форма. Важно не тестировать больше 3-4 элементов одновременно, иначе число комбинаций взрывается. Если трафика мало, применяем fractional factorial design или полный факторный эксперимент с частичным дроблением.

Как рассчитать нужный трафик для MVT?

Пример: тестировать на странице товара:

• Заголовок: 2 варианта (A, B)
• Изображение: 3 варианта (A, B, C)
• CTA кнопка: 2 варианта (A, B)

Итого: 2 × 3 × 2 = 12 комбинаций. Каждая комбинация — отдельный вариант. Расчёт по формуле:

def mvt_sample_size(n_combinations, baseline_cr, mde=0.05, alpha=0.05, power=0.8):
    """Каждая комбинация требует столько же трафика, сколько AB тест"""
    from scipy import stats
    import math
    p1 = baseline_cr
    p2 = baseline_cr * (1 + mde)
    p_avg = (p1 + p2) / 2
    z_a = stats.norm.ppf(1 - alpha / 2)
    z_b = stats.norm.ppf(power)
    n_per_combo = ((z_a * math.sqrt(2 * p_avg * (1-p_avg)) + z_b * math.sqrt(p1*(1-p1) + p2*(1-p2))) / (p2-p1)) ** 2
    total = n_per_combo * n_combinations
    print(f"Per combination: {math.ceil(n_per_combo):,}")
    print(f"Total needed: {math.ceil(total):,}")
    print(f"At 1000 daily visitors: {math.ceil(total/1000)} days")

mvt_sample_size(n_combinations=12, baseline_cr=0.04, mde=0.15)
# Per combination: 4,519
# Total needed: 54,228
# At 1000 daily visitors: 55 days

Если трафика недостаточно — используем fractional factorial design. Например, с Latin Square тестируем 4 комбинации вместо 12, теряя часть взаимодействий, но экономя ресурсы.

Как мы реализуем MVT на вашем сайте?

Мы используем Optimizely или собственный JavaScript-решатель. Пример программного подхода:

// Optimizely Snippet (добавить в <head>)
<script src="https://cdn.optimizely.com/js/PROJECT_ID.js"></script>

// Программный вариант
const optimizely = window.optimizely || []

// Получить вариацию для конкретного эксперимента
const variationKey = optimizely.get('state').getVariationMap()['mvt_homepage_elements']
// variationKey = "headline_B_image_C_cta_A"

// Реализация без Optimizely
function getMVTVariant(userId, elements) {
  const variants = {}
  for (const [element, options] of Object.entries(elements)) {
    const hash = cyrb53(`${userId}_${element}`)
    variants[element] = options[hash % options.length]
  }
  return variants
}

const elements = {
  headline: ['Купите сегодня', 'Скидка 20% для новых клиентов'],
  image: ['lifestyle', 'product-white', 'product-action'],
  cta: ['Добавить в корзину', 'Купить сейчас'],
}

const variants = getMVTVariant(userId, elements)
// variants = { headline: 'Купите сегодня', image: 'product-action', cta: 'Купить сейчас' }

// Применить варианты к DOM
applyVariants(variants)

// Зафиксировать в аналитике
gtag('event', 'mvt_assignment', {
  experiment: 'product_page_mvt',
  headline: variants.headline,
  image: variants.image,
  cta: variants.cta,
  combination: Object.values(variants).join('_')
})

Собственная реализация даёт полный контроль над экспериментом и не требует лицензионных отчислений. Мы также интегрируем тест с вашей аналитической системой — Google Analytics, Яндекс.Метрика или Amplitude. Все наши инженеры сертифицированы по Optimizely и имеют опыт работы с фреймворками React, Vue, Next.js.

Анализ результатов

import pandas as pd
from scipy import stats

def analyze_mvt(data):
    """data: DataFrame с колонками combination, visitors, conversions"""
    data['cvr'] = data['conversions'] / data['visitors']
    data = data.sort_values('cvr', ascending=False)

    # Найти лучшую комбинацию
    best = data.iloc[0]
    control = data[data['combination'] == 'baseline'].iloc[0]

    print(f"\nTop combinations:")
    print(data.head(5).to_string())

    # Статистическая значимость лучшей vs контроль
    from scipy.stats import proportions_ztest
    _, p_value = proportions_ztest(
        [best['conversions'], control['conversions']],
        [best['visitors'], control['visitors']]
    )

    print(f"\nBest: {best['combination']} CVR={best['cvr']:.2%}")
    print(f"Control: CVR={control['cvr']:.2%}")
    print(f"P-value: {p_value:.4f}")

    # Анализ главных эффектов (main effects)
    # Насколько каждый элемент в отдельности влияет на конверсию
    for element in ['headline', 'image', 'cta']:
        effect = data.groupby(element)['cvr'].mean()
        print(f"\nMain effect of {element}:")
        print(effect.sort_values(ascending=False))

Мы всегда анализируем главные эффекты — это помогает понять, какой элемент вносит наибольший вклад. В нашем опыте, часто изображение оказывает больший эффект, чем заголовок. Например, в одном проекте изменение только изображения дало +8% к конверсии, тогда как одновременное изменение заголовка и CTA — +12%.

Процесс работы

Типичные ошибки при MVT

• Тестирование слишком большого количества элементов (≥5) — экспоненциальный рост комбинаций.
• Преждевременная остановка теста до достижения статистической значимости.
• Использование одинаковых вариантов для разных элементов (например, два одинаковых заголовка).
• Неучёт эффектов взаимодействия — интерпретация главных эффектов без проверки взаимодействий.
• Игнорирование сегментов трафика: на мобильных пользователях эффекты могут отличаться.

Мы гарантируем, что каждый тест проходит валидацию на корректное распределение трафика и отсутствие конфликтов с другими экспериментами.

Что входит в работу

• Документация: описание гипотез, дизайн эксперимента, план анализа.
• Реализация кода на вашем сайте (с доступом к репозиторию).
• Интеграция с Google Analytics, Яндекс.Метрикой или любой другой системой.
• Еженедельные отчёты о ходе теста.
• Финальный отчёт с рекомендациями по внедрению победившей комбинации.
• Поддержка в течение месяца после завершения теста.

Сроки и стоимость

Планирование и реализация MVT с полным анализом — от 5 до 7 рабочих дней. Стоимость рассчитывается индивидуально, в зависимости от сложности эксперимента и количества элементов. Мы гарантируем прозрачность на каждом этапе.

Если вы задумываетесь о MVT, закажите консультацию для предварительной оценки трафика и гипотез. Свяжитесь с нами, чтобы получить оценку вашего проекта. Опишите задачу, и мы предложим оптимальный план тестирования.