Você tem tráfego suficiente pra rodar esse experimento?
A maioria dos A/B tests de fundadores nunca chega à significância. Coloca seus números e descobre se esse teste vai terminar em dias, semanas ou nunca.
Que porcentagem de visitantes converte hoje na página.
A menor melhoria em que você realmente agiria. +20% significa ir de 5% para 6%.
Tráfego mensal total da página testada, dividido entre duas versões.
Onde seu teste cai na curva de custo. O ponto marca a célula mais próxima dos seus inputs.
Quatro números decidem todo A/B test.
- Taxa de conversão base (p₁). O que a página entrega hoje. Bases mais baixas precisam exponencialmente de mais amostras pra detectar o mesmo lift relativo.
- Efeito mínimo detectável (MDE). A menor melhoria relativa que você quer ser capaz de afirmar. MDEs menores precisam de dramaticamente mais amostras.
- Nível de significância (α = 0,05). Tolerância a falsos positivos. A confiança padrão da indústria de 95% está fixada aqui.
- Poder estatístico (1−β = 0,80). A probabilidade de você efetivamente captar um efeito real. 80% é convencional e está fixado aqui.
n = (Zα/2 + Zβ)² × (p₁(1−p₁) + p₂(1−p₂)) / (p₂ − p₁)²
A 95% de confiança e 80% de poder, (Zα/2 + Zβ)² ≈ 7,84. Os dias até a significância assumem que você divide o tráfego igualmente entre controle e uma variante.
O que essa calculadora não modela: priors bayesianos, testes sequenciais, mais de duas variantes ou splits de tráfego desiguais. Pra tudo isso, a matemática muda. Começa pelo guia de campo antes de se comprometer com um design fora do padrão.
Roda esse experimento no Xi.
Uma calculadora te diz se a matemática fecha. O Xi roda o experimento: trava a hipótese e o limite de corte lá no início, acompanha a métrica automaticamente e deixa os agentes cantarem o veredito, pra você não ficar à deriva num eterno “só mais uma semana”.