Провели A/B тест кнопки в письме, но разница в кликах минимальная. Это значит, что тест ничего не показал?

Question

Проверяли в рассылке два варианта кнопки: текст на кнопке был разный, но по итогам теста разница в кликах получилась совсем небольшой. Как это правильно понимать? Это значит, что тест провели зря, или из такого результата тоже можно сделать полезный вывод?

Answer 1

Не обязательно, что тест был зря.

Если разница между вариантами получилась минимальной, это часто означает одно из двух:

• либо аудитория действительно почти одинаково реагирует на оба варианта;
• либо выборка была слишком маленькой, чтобы увидеть заметную разницу.

То есть результат «почти одинаково» — это тоже результат. Он показывает, что именно эта переменная, скорее всего, не даёт сильного эффекта.

В такой ситуации обычно смотрят:

• хватило ли объёма базы;
• была ли разница статистически значимой;
• тестировали ли вы действительно заметное изменение, а не слишком мелкую деталь.

Если коротко: минимальная разница не значит, что тест бесполезный — иногда он как раз показывает, что эту гипотезу не стоит считать важной и лучше тестировать что-то сильнее.