Налаштування A/B тестування в мобільному додатку

Налаштування A/B тестування в мобільному додатку

Ви запускаєте A/B тест, через три дні бачите p-value 0.04 і зупиняєте експеримент. Результат — хибнопозитивний. Таке трапляється в 80% мобільних A/B тестів, якщо вірити аналітиці. Причина — порушення базової статистики: множинні перевірки та передчасна зупинка. A/B тестування — потужний інструмент, але тільки при правильному налаштуванні. Наш досвід у мобільній розробці — понад 50 впроваджених A/B тестів на iOS та Android. Гарантуємо коректне налаштування та статистично значущі результати. Зв'яжіться з нами для консультації.

Як вибрати інструмент для A/B тестування?

Firebase A/B Testing — розумний старт для більшості проєктів. Інтеграція через Remote Config, без додаткових SDK. Для складної сегментації (користувачі з Києва з трьома сесіями) Statsig втричі ефективніший за рахунок стратифікованої вибірки.

Чому більшість A/B тестів дають хибнопозитивні результати?

Зупинка тесту при перших значущих результатах — найпоширеніша помилка. Якщо дивитися на p-value щодня і зупинити тест коли p < 0.05 вперше — ймовірність хибнопозитивного результату може зрости до 30%. Тест потрібно зупиняти, коли досягнуто заздалегідь визначеного розміру вибірки.

Один тест — одна метрика. Не можна оптимізувати одночасно conversion rate та session length одним тестом. Якщо обидві метрики зростають — добре, але таргетна має бути одна.

Novelty effect. Новий дизайн дає сплеск кліків на першому тижні просто тому що він новий. Для поведінкових тестів мінімальний термін — 2 тижні. Для retention-тестів — 4 тижні.

Коли потрібно зупиняти A/B тест?

Тест потрібно зупиняти тільки при досягненні заздалегідь розрахованого розміру вибірки. Не можна покладатися на поточне p-value. Використовуйте калькулятор розміру вибірки: вкажіть baseline конверсію, мінімальний ефект (MDE) та довірчий інтервал (зазвичай 95%). Наприклад, для baseline 10% і MDE 1% потрібно близько 10 000 користувачів на варіант.

Firebase A/B Testing: налаштування

Firebase A/B Testing будується поверх Remote Config. Спочатку визначаємо параметр:

// Отримуємо значення з Remote Config
let remoteConfig = RemoteConfig.remoteConfig()
remoteConfig.configSettings = RemoteConfigSettings()
remoteConfig.configSettings.minimumFetchInterval = 0 // в debug
remoteConfig.fetchAndActivate { status, error in
    let ctaText = remoteConfig.configValue(forKey: "checkout_cta_text").stringValue
    self.checkoutButton.setTitle(ctaText, for: .normal)
}

У Firebase Console → A/B Testing створюємо експеримент:

1. Обираємо checkout_cta_text як Target Parameter
2. Control: "Оформити замовлення"
3. Variant A: "Купити зараз"
4. Цільова метрика: purchase (конверсійна подія)
5. Відсоток учасників: 50%
6. Мінімальний розмір вибірки: Firebase розраховує автоматично

Статистична значущість: неочевидні підводні камені

Statsig для складних експериментів

Відзначимо: коли потрібна більш гнучка сегментація (тестуємо тільки на користувачах з Києва, у яких > 3 сесій):

// iOS Statsig SDK
import StatsigSDK

Statsig.initialize(sdkKey: "client-xxx") {
    let experiment = Statsig.getExperiment("checkout_flow_v2")
    let variant = experiment.getValue(forKey: "flow_type", defaultValue: "standard")
    if variant == "simplified" {
        self.showSimplifiedCheckout()
    } else {
        self.showStandardCheckout()
    }
}

// Android
val experiment = Statsig.getExperiment("checkout_flow_v2")
val flowType = experiment.getString("flow_type", "standard")

Statsig підтримує стратифіковану вибірку — рівномірний розподіл користувачів по стратах (платформа, країна, план підписки). Без стратифікації випадковий розподіл може створити когорти з різним складом, що спотворює результати.

Логування експозиції

Для коректного аналізу важливо логувати факт показу варіанту — не тільки конверсію:

Analytics.logEvent("experiment_exposure", parameters: [
    "experiment_id": "checkout_cta_v2",
    "variant": variantName,
    "user_id": userId
])

Це дозволяє аналізувати конверсію тільки серед користувачів, які реально бачили експеримент, а не всіх учасників.

Що входить в роботу

• Вибір інструменту під завдання та стек (Firebase / Statsig / Amplitude Experiment)
• Інтеграція SDK та налаштування Remote Config / Feature Flags
• Реалізація шару A/B в коді з коректною обробкою варіантів
• Налаштування цільових метрик та конверсійних подій
• Конфігурація розміру вибірки та тривалості тесту
• Логування експозиції для аналізу
• Пост-тест аналіз з перевіркою статистичних припущень
• Документування результатів

Терміни

Один A/B тест на Firebase Remote Config: 1–2 дні. Інфраструктура для регулярного A/B тестування (Statsig/Growthbook): 3–5 днів. Вартість розраховується індивідуально. Оцінимо ваш проєкт — зв'яжіться з нами для консультації. Гарантуємо прозору звітність та коректні експерименти. Замовте реалізацію A/B тестування — отримайте статистично значущі результати без хибних спрацьовувань.