Результаты A/B теста зависят не только от вариантов (тема, кнопка, текст), но и от контекста: когда и кому отправляется рассылка, что люди уже получали и как ведут себя в этот момент. Поэтому при повторной отправке «победитель» может меняться.
Что влияет на результат
- Частота рассылок — если между рассылками прошла неделя и за это время подписчики получили ещё несколько писем, их усталость и внимание меняются.
- Предыдущие письма — что уже было в цепочке (темы, офферы, тон). Один и тот же призыв может по-разному сработать после «напоминания» и после «горячего» предложения.
- Стадия воронки и активность — часть аудитории могла уже перейти по ссылке или купить; состав «активных» в момент второй рассылки другой.
- Время и день отправки — разное время и день недели дают разную готовность к действию.
Поведение подписчиков не статично. То, что сработало в одном сценарии, может не сработать в другом — не потому что тест был «неправильный», а потому что изменился контекст.
Как к этому относиться
- A/B тест — инструмент для решения в конкретной ситуации. Его результат говорит: «в этой рассылке, в это время, для этой аудитории лучше вариант A». Это не «навсегда лучшая кнопка» для всех рассылок.
- Повторяйте тесты в новых рассылках. При смене формата, сезона или сегмента имеет смысл снова тестировать темы и CTA — победитель может оказаться другим.
- Учитывайте контекст при интерпретации. Если во второй рассылке выиграл другой вариант — фиксируйте условия (частота, тема предыдущего письма, сегмент) и используйте это для следующих решений.
Кратко
Результаты A/B теста зависят от контекста: частоты рассылок, предыдущих писем, активности аудитории и времени отправки. Воспринимайте тесты как основу для решений в конкретном сценарии, а не как единственную формулу на все рассылки.