Hast du genug Traffic, um dieses Experiment zu fahren?
Die meisten A/B-Tests von Gründern erreichen nie Signifikanz. Trag deine Zahlen ein und finde heraus, ob dieser Test in Tagen, Wochen oder nie fertig wird.
Welcher Anteil der Besucher heute konvertiert.
Die kleinste Verbesserung, auf die du handeln würdest. +20% heißt von 5% auf 6%.
Gesamter monatlicher Traffic der getesteten Seite, gleich auf zwei Versionen verteilt.
Wo dein Test auf der Kostenkurve liegt. Der Punkt markiert die Zelle, die deinen Eingaben am nächsten ist.
Vier Zahlen entscheiden jeden A/B-Test.
- Baseline-Conversion-Rate (p₁). Was die Seite heute leistet. Niedrigere Baselines brauchen exponentiell mehr Samples, um denselben relativen Lift zu erkennen.
- Minimum detectable effect (MDE). Die kleinste relative Verbesserung, die du noch erkennen können willst. Kleinere MDEs brauchen dramatisch mehr Samples.
- Signifikanzniveau (α = 0,05). Toleranz für False Positives. Die branchenübliche 95%-Konfidenz ist hier festgesetzt.
- Statistische Power (1−β = 0,80). Die Wahrscheinlichkeit, dass du einen echten Effekt tatsächlich erwischst. 80% sind Konvention und hier festgesetzt.
n = (Zα/2 + Zβ)² × (p₁(1−p₁) + p₂(1−p₂)) / (p₂ − p₁)²
Bei 95% Konfidenz und 80% Power gilt (Zα/2 + Zβ)² ≈ 7,84. Die Tage bis zur Signifikanz nehmen an, dass du Traffic gleichmäßig zwischen Control und einer Variante splittest.
Was dieser Calculator nicht modelliert: Bayesian Priors, sequentielle Tests, mehr als zwei Varianten oder ungleiche Traffic-Splits. Für all das verschiebt sich die Mathe. Fang mit dem Field Guide an, bevor du dich auf ein nicht-standardisiertes Design festlegst.
Fahre dieses Experiment in Xi.
Ein Rechner sagt dir, ob die Mathe aufgeht. Xi fährt das Experiment: Hypothese und Abbruchschwelle vorab fixieren, die Metrik automatisch verfolgen und Agenten das Urteil fällen lassen, damit du nicht in endloses „nur noch eine Woche“ abdriftest.