Реалізація A/B-тестування email-розсилок

A/B тестування email-рассилок

A/B тестування email — це відправлення різних версій листа різним сегментам аудиторії для визначення, який варіант дає кращі відкриття та кліки. Можна тестувати тему листа, прехедер, контент, CTA, час відправлення.

Що тестувати

• Subject line — найбільший вплив, впливає на open rate прямо
• Prehead/Preview text — відображається поруч з темою в inbox
• CTA-кнопка — текст, колір, позиція
• Hero-зображення — фото товару vs ілюстрація vs без картинки
• Персоналізація — з ім'ям користувача vs без
• Час відправлення — ранок vs вечір, робочий день vs вихідний

Реалізація A/B тесту на серверній частині

interface ABTestVariant {
  id: 'A' | 'B' | 'C';
  subject: string;
  templateId: string;
  weight: number;  // доля трафіку, наприклад 0.5 для 50/50
}

interface ABTest {
  id: string;
  campaignId: string;
  variants: ABTestVariant[];
  winnerMetric: 'open_rate' | 'click_rate';
  sampleSize: number;       // скільки відправити на тест
  winnerSendAt?: Date;      // коли відправити переможця решті
}

async function sendABTest(test: ABTest, users: User[]) {
  // Перемішати користувачів випадково
  const shuffled = users.sort(() => Math.random() - 0.5);

  // Розділити на групи відповідно до ваг
  let offset = 0;
  for (const variant of test.variants) {
    const count = Math.floor(test.sampleSize * variant.weight);
    const group = shuffled.slice(offset, offset + count);
    offset += count;

    await Promise.allSettled(
      group.map(user =>
        sendVariantEmail(user, variant, test.id)
      )
    );
  }

  // Зберегти інформацію про тест
  await db.abTests.create(test);

  // Запланувати визначення переможця
  if (test.winnerSendAt) {
    await scheduleWinnerSelection(test.id, test.winnerSendAt);
  }
}

async function sendVariantEmail(user: User, variant: ABTestVariant, testId: string) {
  const html = await renderTemplate(variant.templateId, { user });
  const emailLogId = await sendEmail({
    to: user.email,
    subject: variant.subject,
    html,
  });

  await db.abTestParticipants.create({
    testId,
    variantId: variant.id,
    userId: user.id,
    emailLogId,
  });
}

Визначення переможця

async function determineWinner(testId: string): Promise<'A' | 'B' | 'C'> {
  const test = await db.abTests.findById(testId);

  const stats = await db.query<{
    variant_id: string;
    sent: number;
    opened: number;
    clicked: number;
  }>(`
    SELECT
      p.variant_id,
      COUNT(DISTINCT p.id) AS sent,
      COUNT(DISTINCT oe.email_log_id) AS opened,
      COUNT(DISTINCT ce.email_log_id) AS clicked
    FROM ab_test_participants p
    LEFT JOIN email_open_events oe ON oe.email_log_id = p.email_log_id
    LEFT JOIN email_click_events ce ON ce.email_log_id = p.email_log_id
    WHERE p.test_id = $1
    GROUP BY p.variant_id
  `, [testId]);

  const withRates = stats.map(s => ({
    ...s,
    open_rate: s.opened / s.sent,
    click_rate: s.clicked / s.sent,
  }));

  // Перевірити статистичну значимість (z-test для пропорцій)
  const winner = withRates.reduce((best, current) => {
    const metric = test.winnerMetric === 'open_rate' ? 'open_rate' : 'click_rate';
    return current[metric] > best[metric] ? current : best;
  });

  return winner.variant_id as 'A' | 'B' | 'C';
}

// Відправити переможця решті користувачів
async function sendWinnerToRemainder(testId: string) {
  const winnerId = await determineWinner(testId);
  const test = await db.abTests.findById(testId);
  const winnerVariant = test.variants.find(v => v.id === winnerId)!;

  // Користувачі, які не брали участь в тесті
  const participantIds = await db.abTestParticipants.getUserIdsByTest(testId);
  const remainderUsers = await db.users.findExcluding(participantIds, test.campaignId);

  await Promise.allSettled(
    remainderUsers.map(user =>
      sendVariantEmail(user, winnerVariant, testId)
    )
  );
}

Статистична значимість

Важливо не оголошувати переможця раніше часу. Мінімальна вибірка для 95% впевненості при очікуваному open rate 25% та дельта 5% — близько 1 200 одержувачів на варіант. Для розрахунку використовуються онлайн-калькулятори Sample Size (Optimizely, Evan Miller).

function isStatisticallySignificant(
  controlConverted: number,
  controlTotal: number,
  variantConverted: number,
  variantTotal: number,
  confidenceLevel: number = 0.95
): boolean {
  const p1 = controlConverted / controlTotal;
  const p2 = variantConverted / variantTotal;
  const pPool = (controlConverted + variantConverted) / (controlTotal + variantTotal);
  const se = Math.sqrt(pPool * (1 - pPool) * (1/controlTotal + 1/variantTotal));
  const z = Math.abs(p2 - p1) / se;
  const zThreshold = confidenceLevel === 0.95 ? 1.96 : 2.576;  // 95% або 99%
  return z >= zThreshold;
}

Тривалість

Система A/B тестування з розділенням трафіку, збором метрик, визначенням переможця та дорассилкою займає 3–5 днів.