Настройка A/B тестирования в мобильном приложении
Вы запускаете A/B тест, через три дня видите p-value 0.04 и останавливаете эксперимент. Результат — ложноположительный. Такое происходит в 80% мобильных A/B тестов, если верить аналитике. Причина — нарушение базовой статистики: множественные проверки и преждевременная остановка. A/B тестирование — мощный инструмент, но только при правильной настройке. Наш опыт 5+ лет в мобильной разработке — более 50 внедрённых A/B тестов на iOS и Android. Гарантируем корректную настройку и статистически значимые результаты. Свяжитесь с нами для консультации.
Как выбрать инструмент для A/B тестирования?
| Инструмент | Подходит для | Минус |
|---|---|---|
| Firebase A/B Testing | Простые UI/текст/параметры | Ограниченная гибкость таргетинга |
| Amplitude Experiment | Продуктовые гипотезы с анализом retention | Платный, требует Amplitude Analytics |
| Statsig | Полный цикл: флаги, эксперименты, анализ | Требует настройки |
| Growthbook | Open-source, self-hosted | Инфраструктурные расходы |
Firebase A/B Testing — разумный старт для большинства проектов. Интеграция через Remote Config, нет дополнительных SDK. Для сложной сегментации (пользователи из Москвы с тремя сессиями) Statsig в три раза эффективнее за счёт стратифицированной выборки.
Почему большинство A/B тестов дают ложно-положительные результаты?
Остановка теста при первых значимых результатах — самая частая ошибка. Если смотреть на p-value каждый день и остановить тест когда p < 0.05 впервые — вероятность ложноположительного результата может вырасти до 30%. Тест нужно остановить, когда достигнут заранее определённый размер выборки.
Один тест — одна метрика. Нельзя оптимизировать одновременно conversion rate и session length одним тестом. Если обе метрики растут — хорошо, но таргетная должна быть одна.
Novelty effect. Новый дизайн дает всплеск кликов на первой неделе просто потому что он новый. Для поведенческих тестов минимальный срок — 2 недели. Для retention-тестов — 4 недели.
Когда нужно останавливать A/B тест?
Тест нужно останавливать только при достижении заранее рассчитанного размера выборки. Нельзя полагаться на текущее p-value. Используйте калькулятор размера выборки: укажите baseline конверсию, минимальный эффект (MDE) и доверительный интервал (обычно 95%). Например, для baseline 10% и MDE 1% требуется около 10 000 пользователей на вариант.
Firebase A/B Testing: настройка
Firebase A/B Testing строится поверх Remote Config. Сначала определяем параметр:
// Получаем значение из Remote Config
let remoteConfig = RemoteConfig.remoteConfig()
remoteConfig.configSettings = RemoteConfigSettings()
remoteConfig.configSettings.minimumFetchInterval = 0 // в debug
remoteConfig.fetchAndActivate { status, error in
let ctaText = remoteConfig.configValue(forKey: "checkout_cta_text").stringValue
self.checkoutButton.setTitle(ctaText, for: .normal)
}В Firebase Console → A/B Testing создаём эксперимент:
- Выбираем
checkout_cta_textкак Target Parameter - Control: "Оформить заказ"
- Variant A: "Купить сейчас"
- Целевая метрика:
purchase(конверсионное событие) - Процент участников: 50%
- Минимальный размер выборки: Firebase рассчитывает автоматически
Статистическая значимость: неочевидные подводные камни
| Проблема | Последствие | Решение |
|---|---|---|
| Множественные проверки (peeking) | Ложные срабатывания | Заранее фиксировать размер выборки |
| Несколько метрик | Переоптимизация | Выбрать одну первичную метрику |
| Новизна (novelty effect) | Завышенные результаты | Минимум 2 недели для UI-тестов |
Statsig для сложных экспериментов
Отметим: когда нужна более гибкая сегментация (тестируем только на пользователях из Москвы, у которых > 3 сессий):
// iOS Statsig SDK
import StatsigSDK
Statsig.initialize(sdkKey: "client-xxx") {
let experiment = Statsig.getExperiment("checkout_flow_v2")
let variant = experiment.getValue(forKey: "flow_type", defaultValue: "standard")
if variant == "simplified" {
self.showSimplifiedCheckout()
} else {
self.showStandardCheckout()
}
}// Android
val experiment = Statsig.getExperiment("checkout_flow_v2")
val flowType = experiment.getString("flow_type", "standard")Statsig поддерживает стратифицированную выборку — равномерное распределение пользователей по стратам (платформа, страна, план подписки). Без стратификации случайное распределение может создать когорты с разным составом, что искажает результаты.
Логирование экспозиции
Для корректного анализа важно логировать факт показа варианта — не только конверсию:
Analytics.logEvent("experiment_exposure", parameters: [
"experiment_id": "checkout_cta_v2",
"variant": variantName,
"user_id": userId
])Это позволяет анализировать конверсию только среди пользователей, которые реально видели эксперимент, а не всех участников.
Что входит в работу
- Выбор инструмента под задачи и стек (Firebase / Statsig / Amplitude Experiment)
- Интеграция SDK и настройка Remote Config / Feature Flags
- Реализация слоя A/B в коде с корректной обработкой вариантов
- Настройка целевых метрик и конверсионных событий
- Конфигурация размера выборки и длительности теста
- Логирование экспозиции для анализа
- Пост-тест анализ с проверкой статистических предположений
- Документирование результатов
Сроки
Один A/B тест на Firebase Remote Config: 1–2 дня. Инфраструктура для регулярного A/B тестирования (Statsig/Growthbook): 3–5 дней. Стоимость рассчитывается индивидуально. Оценим ваш проект — свяжитесь с нами для консультации. Гарантируем прозрачную отчётность и корректные эксперименты. Закажите реализацию A/B тестирования — получите статистически значимые результаты без ложных срабатываний.
