Хватит ли у тебя трафика, чтобы запустить этот эксперимент?
Большинство A/B-тестов основателей так и не доходят до значимости. Подставь свои числа и узнай, закончится ли этот тест за дни, недели или никогда.
Какой процент посетителей конвертируется на странице сейчас.
Самое маленькое улучшение, ради которого вы бы действовали. +20% означает рост с 5% до 6%.
Общий месячный трафик тестируемой страницы, поровну между двумя версиями.
Где тест находится на кривой стоимости. Точка показывает ближайшую к вашим вводным ячейку.
Каждый A/B-тест решают четыре числа.
- Базовая конверсия (p₁). То, что страница даёт сегодня. Чем ниже база, тем экспоненциально больше нужно выборки, чтобы поймать тот же относительный лифт.
- Минимально детектируемый эффект (MDE). Самое маленькое относительное улучшение, которое ты хочешь уметь засчитывать. Чем меньше MDE, тем драматически больше нужно выборки.
- Уровень значимости (α = 0,05). Допуск на ложные срабатывания. Стандартная для индустрии 95% уверенность зафиксирована здесь.
- Статистическая мощность (1−β = 0,80). Вероятность того, что ты действительно поймаешь реальный эффект. 80% — это конвенция, и она зафиксирована здесь.
n = (Zα/2 + Zβ)² × (p₁(1−p₁) + p₂(1−p₂)) / (p₂ − p₁)²
При 95% уверенности и 80% мощности (Zα/2 + Zβ)² ≈ 7,84. Дни до значимости предполагают, что ты делишь трафик поровну между контролем и одной вариантой.
Что этот калькулятор не моделирует: байесовские приоры, последовательные тесты, больше двух вариантов или неравные сплиты трафика. Для всего этого математика сдвигается. Начни с филд-гайда, прежде чем коммититься в нестандартный дизайн.
Запусти этот эксперимент в Xi.
Калькулятор говорит, складывается ли математика. Xi сам запускает эксперимент: фиксирует гипотезу и порог остановки заранее, отслеживает метрику автоматически и позволяет агентам выносить вердикт, чтобы ты не дрейфовал в бесконечное «ещё одну неделю».