Реализация A/B-тестирования email-рассылок

A/B тестирование email-рассылок

A/B тестирование email — это отправка разных версий письма разным сегментам аудитории для определения, какой вариант даёт лучшие открываемость и кликабельность. Тестировать можно тему письма, прехедер, контент, CTA, время отправки.

Что тестировать

• Subject line — самый высокий impact, влияет на open rate напрямую
• Prehead/Preview text — отображается рядом с темой в inbox
• CTA-кнопка — текст, цвет, позиция
• Hero-изображение — фото продукта vs иллюстрация vs без картинки
• Персонализация — с именем пользователя vs без
• Время отправки — утро vs вечер, рабочий день vs выходной

Реализация A/B теста на бэкенде

interface ABTestVariant {
  id: 'A' | 'B' | 'C';
  subject: string;
  templateId: string;
  weight: number;  // доля трафика, например 0.5 для 50/50
}

interface ABTest {
  id: string;
  campaignId: string;
  variants: ABTestVariant[];
  winnerMetric: 'open_rate' | 'click_rate';
  sampleSize: number;       // сколько отправить на тест
  winnerSendAt?: Date;      // когда отправить победителя остальным
}

async function sendABTest(test: ABTest, users: User[]) {
  // Перемешать пользователей случайно
  const shuffled = users.sort(() => Math.random() - 0.5);

  // Разделить на группы согласно весам
  let offset = 0;
  for (const variant of test.variants) {
    const count = Math.floor(test.sampleSize * variant.weight);
    const group = shuffled.slice(offset, offset + count);
    offset += count;

    await Promise.allSettled(
      group.map(user =>
        sendVariantEmail(user, variant, test.id)
      )
    );
  }

  // Сохранить информацию о тесте
  await db.abTests.create(test);

  // Запланировать определение победителя
  if (test.winnerSendAt) {
    await scheduleWinnerSelection(test.id, test.winnerSendAt);
  }
}

async function sendVariantEmail(user: User, variant: ABTestVariant, testId: string) {
  const html = await renderTemplate(variant.templateId, { user });
  const emailLogId = await sendEmail({
    to: user.email,
    subject: variant.subject,
    html,
  });

  await db.abTestParticipants.create({
    testId,
    variantId: variant.id,
    userId: user.id,
    emailLogId,
  });
}

Определение победителя

async function determineWinner(testId: string): Promise<'A' | 'B' | 'C'> {
  const test = await db.abTests.findById(testId);

  const stats = await db.query<{
    variant_id: string;
    sent: number;
    opened: number;
    clicked: number;
  }>(`
    SELECT
      p.variant_id,
      COUNT(DISTINCT p.id) AS sent,
      COUNT(DISTINCT oe.email_log_id) AS opened,
      COUNT(DISTINCT ce.email_log_id) AS clicked
    FROM ab_test_participants p
    LEFT JOIN email_open_events oe ON oe.email_log_id = p.email_log_id
    LEFT JOIN email_click_events ce ON ce.email_log_id = p.email_log_id
    WHERE p.test_id = $1
    GROUP BY p.variant_id
  `, [testId]);

  const withRates = stats.map(s => ({
    ...s,
    open_rate: s.opened / s.sent,
    click_rate: s.clicked / s.sent,
  }));

  // Проверить статистическую значимость (z-test для пропорций)
  const winner = withRates.reduce((best, current) => {
    const metric = test.winnerMetric === 'open_rate' ? 'open_rate' : 'click_rate';
    return current[metric] > best[metric] ? current : best;
  });

  return winner.variant_id as 'A' | 'B' | 'C';
}

// Отправить победителя оставшимся пользователям
async function sendWinnerToRemainder(testId: string) {
  const winnerId = await determineWinner(testId);
  const test = await db.abTests.findById(testId);
  const winnerVariant = test.variants.find(v => v.id === winnerId)!;

  // Пользователи, не попавшие в тест
  const participantIds = await db.abTestParticipants.getUserIdsByTest(testId);
  const remainderUsers = await db.users.findExcluding(participantIds, test.campaignId);

  await Promise.allSettled(
    remainderUsers.map(user =>
      sendVariantEmail(user, winnerVariant, testId)
    )
  );
}

Статистическая значимость

Важно не объявлять победителя раньше времени. Минимальная выборка для 95% уверенности при ожидаемом open rate 25% и delta 5% — около 1 200 получателей на вариант. Для расчёта используют онлайн-калькуляторы Sample Size (Optimizely, Evan Miller).

function isStatisticallySignificant(
  controlConverted: number,
  controlTotal: number,
  variantConverted: number,
  variantTotal: number,
  confidenceLevel: number = 0.95
): boolean {
  const p1 = controlConverted / controlTotal;
  const p2 = variantConverted / variantTotal;
  const pPool = (controlConverted + variantConverted) / (controlTotal + variantTotal);
  const se = Math.sqrt(pPool * (1 - pPool) * (1/controlTotal + 1/variantTotal));
  const z = Math.abs(p2 - p1) / se;
  const zThreshold = confidenceLevel === 0.95 ? 1.96 : 2.576;  // 95% или 99%
  return z >= zThreshold;
}

Сроки

Система A/B тестирования с разделением трафика, сбором метрик, определением победителя и дорассылкой — 3–5 дней.