As-tu assez de trafic pour lancer cette expérimentation ?
La plupart des tests A/B de fondateurs n’atteignent jamais la significativité. Mets tes chiffres et vois si ce test va se terminer en jours, en semaines ou jamais.
Le pourcentage de visiteurs qui convertit aujourd’hui.
La plus petite amélioration sur laquelle tu agirais. +20 % signifie passer de 5 % à 6 %.
Trafic mensuel total de la page testée, réparti entre deux versions.
Où ton test tombe sur la courbe de coût. Le point marque la cellule la plus proche de tes inputs.
Quatre nombres décident chaque A/B test.
- Taux de conversion de base (p₁).Ce que la page fait aujourd’hui. Des bases plus faibles demandent exponentiellement plus d’échantillons pour détecter le même lift relatif.
- Effet minimum détectable (MDE).La plus petite amélioration relative que tu veux pouvoir trancher. Des MDE plus petits demandent dramatiquement plus d’échantillons.
- Niveau de significativité (α = 0,05).Tolérance aux faux positifs. La confiance standard de l’industrie de 95% est verrouillée ici.
- Puissance statistique (1−β = 0,80). La probabilité de capter réellement un effet réel. 80% est conventionnel et verrouillé ici.
n = (Zα/2 + Zβ)² × (p₁(1−p₁) + p₂(1−p₂)) / (p₂ − p₁)²
À 95% de confiance et 80% de puissance, (Zα/2 + Zβ)² ≈ 7,84. Les jours jusqu’à la significativité supposent que tu répartis le trafic à parts égales entre le contrôle et une variante.
Ce que ce calculateur ne modélise pas : priors bayésiens, tests séquentiels, plus de deux variantes ou splits de trafic inégaux. Pour tout ça, les maths changent. Commence par le guide pratique avant de t’engager dans un design non standard.
Lance cette expérimentation dans Xi.
Un calculateur te dit si les maths tiennent. Xi lance l’expérimentation : verrouille l’hypothèse et le seuil d’arrêt dès le départ, suit la métrique automatiquement et laisse les agents trancher le verdict, pour que tu ne dérives pas dans un « encore une semaine » sans fin.