Калькулятор A/B-тест
Расчет статистической значимости A/B-теста
Оцените, является ли разница в конверсии между версией А и версией Б случайной или статистически достоверной.
Вариант A (Исходный)
Вариант B (Тестовый)
Ключевая формула:
Для расчета значимости используется Z-тест, который сравнивает конверсии двух выборок.
Конверсии A / Посетители A
(CR(B) - CR(A)) / CR(A) * 100%
Часто задаваемые вопросы
Ответы на самые популярные вопросы о проведении и расчете A/B-тестов
Что такое статистическая значимость в A/B-тесте?
Статистическая значимость — это вероятность того, что разница в результатах между вариантами А и В (например, в конверсии) обусловлена не случайностью, а действительным изменением. Обычно для принятия решения требуется уровень доверия 95% или 99%.
Какой минимальный срок должен длиться A/B-тест?
Тест должен длиться не менее одного полного бизнес-цикла (обычно 7 дней), чтобы охватить все дни недели и исключить влияние специфических событий (например, выходных или дней распродаж). Остановка теста раньше достижения значимости приведет к неверным выводам.
Что такое эффект подглядывания (peeking)?
Эффект подглядывания возникает, когда аналитик преждевременно останавливает A/B-тест, как только видит, что один из вариантов достиг желаемой статистической значимости. Это приводит к ложноположительным результатам (Type I Error) и сильно искажает достоверность теста.
Какие две основные метрики нужны для расчета?
Для корректного расчета статистической значимости для обоих вариантов (А и Б) необходимы две метрики:
- Количество посетителей (или показов): размер выборки.
- Количество конверсий: число целевых действий.
Что делать, если тест не показал значимости?
Если тест завершен, но значимость не достигнута, это означает, что разница между вариантами А и В слишком мала, чтобы быть уверенным в ее пользе. Рекомендуется:
- Продлить тест (если позволяют ресурсы).
- Принять вариант А (если В не приносит ощутимой выгоды).
- Разработать гипотезу с более радикальными изменениями.