Bu deneyi koşturmaya yetecek trafiğin var mı?
Kurucuların A/B testlerinin çoğu hiçbir zaman istatistiksel anlamlılığa ulaşmaz. Sayılarını gir; bu testin günlerle mi, haftalarla mı, yoksa hiçbir zaman mı biteceğini gör.
Sayfanın bugün ziyaretçileri hangi oranda dönüştürdüğü.
Gerçekten harekete geçeceğin en küçük iyileşme. +20%, %5’ten %6’ya çıkmak demektir.
Test ettiğin sayfanın toplam aylık trafiği, iki sürüme eşit bölünür.
Testinin maliyet eğrisinde nereye düştüğü. Nokta, girdilerine en yakın hücreyi gösterir.
Her A/B testi dört sayıyla belirlenir.
- Baseline dönüşüm oranı (p₁).Sayfanın bugün ürettiği sonuç. Daha düşük baseline’lar, aynı bağıl lift’i yakalamak için katlanarak daha çok örneğe ihtiyaç duyar.
- Minimum detectable effect (MDE).Güvenle yakalamak istediğin en küçük bağıl iyileşme. Daha küçük MDE’ler dramatik biçimde daha çok örnek ister.
- Anlamlılık düzeyi (α = 0,05). Yanlış pozitiflere tolerans. Endüstrinin standart kabul ettiği 95% güven burada sabitli.
- İstatistiksel güç (1−β = 0,80). Gerçek bir etkiyi gerçekten yakalama olasılığın. 80% konvansiyonel ve burada sabitli.
n = (Zα/2 + Zβ)² × (p₁(1−p₁) + p₂(1−p₂)) / (p₂ − p₁)²
95% güven ve 80% güçte, (Zα/2 + Zβ)² ≈ 7,84. Anlamlılığa kadar geçen gün sayısı, trafiği kontrol ile bir varyant arasında eşit böldüğünü varsayar.
Bu hesaplayıcının modellemediği şeyler: Bayes öncülleri, sequential testler, ikiden fazla varyant ya da eşit olmayan trafik bölüşümleri. Hepsinde matematik kayar. Standart dışı bir tasarıma bağlanmadan önce saha rehberiyle başla.
Bu deneyi Xi’de koştur.
Bir hesaplayıcı sana matematik tutuyor mu söyler. Xi deneyi koşturur: hipotezi ve durdurma eşiğini baştan kilitler, metriği otomatik takip eder ve kararı ajanlara verdirir. Böylece bitmeyen “bir hafta daha”ya sürüklenmezsin.