¿Tienes tráfico suficiente para correr este experimento?
La mayoría de los A/B tests de fundadores nunca llegan a significancia. Mete tus números y descubre si este test va a terminar en días, semanas o nunca.
Qué porcentaje de visitantes convierte hoy en la página.
La mejora más pequeña sobre la que actuarías. +20% significa pasar de 5% a 6%.
Tráfico mensual total de la página que vas a probar, dividido en dos versiones.
Dónde cae tu test en la curva de coste. El punto marca la celda más cercana a tus inputs.
Cuatro números deciden cada A/B test.
- Tasa de conversión base (p₁). Lo que hace la página hoy. Bases más bajas necesitan exponencialmente más muestras para detectar el mismo lift relativo.
- Efecto mínimo detectable (MDE). La mejora relativa más pequeña que quieres poder declarar. MDEs más chicos necesitan dramáticamente más muestras.
- Nivel de significancia (α = 0.05). Tolerancia a falsos positivos. La confianza estándar de la industria del 95% está fijada acá.
- Poder estadístico (1−β = 0.80). La probabilidad de que efectivamente detectes un efecto real. 80% es lo convencional y está fijado acá.
n = (Zα/2 + Zβ)² × (p₁(1−p₁) + p₂(1−p₂)) / (p₂ − p₁)²
Con 95% de confianza y 80% de poder, (Zα/2 + Zβ)² ≈ 7.84. Los días hasta significancia asumen que repartes el tráfico en partes iguales entre control y una variante.
Lo que esta calculadora no modela: priors bayesianos, tests secuenciales, más de dos variantes o splits de tráfico desiguales. Para todo eso, la matemática cambia. Empieza con la guía de campo antes de comprometerte con un diseño no estándar.
Corre este experimento en Xi.
Una calculadora te dice si la matemática cierra. Xi corre el experimento: fija la hipótesis y el umbral de corte por adelantado, sigue la métrica de forma automática y deja que los agentes canten el veredicto, así no te vas a la deriva en un eterno “solo una semana más”.