Έχεις αρκετή κίνηση για να τρέξεις αυτό το πείραμα;
Τα περισσότερα A/B tests των ιδρυτών δεν φτάνουν ποτέ σε στατιστική σημαντικότητα. Βάλε τους αριθμούς σου και δες αν αυτό το test θα τελειώσει σε μέρες, σε εβδομάδες ή ποτέ.
Τι ποσοστό επισκεπτών μετατρέπεται σήμερα στη σελίδα.
Η μικρότερη βελτίωση για την οποία θα δρούσες. +20% σημαίνει από 5% σε 6%.
Συνολικό μηνιαίο traffic στη σελίδα που τεστάρεις, μοιρασμένο σε δύο εκδόσεις.
Πού πέφτει το test στην καμπύλη κόστους. Η τελεία δείχνει το κοντινότερο κελί στα inputs σου.
Τέσσερις αριθμοί κρίνουν κάθε A/B test.
- Baseline ποσοστό μετατροπής (p₁). Ό,τι πετυχαίνει η σελίδα σήμερα. Όσο χαμηλότερο είναι το baseline, τόσο περισσότερα δείγματα χρειάζονται για να εντοπίσεις το ίδιο σχετικό lift.
- Ελάχιστο ανιχνεύσιμο αποτέλεσμα (MDE). Η μικρότερη σχετική βελτίωση που θέλεις να μπορείς να δηλώσεις. Μικρότερα MDE χρειάζονται δραματικά περισσότερα δείγματα.
- Επίπεδο σημαντικότητας (α = 0,05). Η ανοχή σε ψευδώς θετικά αποτελέσματα. Το καθιερωμένο 95% επίπεδο εμπιστοσύνης είναι κλειδωμένο εδώ.
- Στατιστική ισχύς (1−β = 0,80). Η πιθανότητα να πιάσεις πράγματι ένα πραγματικό αποτέλεσμα. Το 80% είναι συμβατικό και κλειδωμένο εδώ.
n = (Zα/2 + Zβ)² × (p₁(1−p₁) + p₂(1−p₂)) / (p₂ − p₁)²
Με 95% επίπεδο εμπιστοσύνης και 80% ισχύ, (Zα/2 + Zβ)² ≈ 7,84. Οι μέρες ως τη σημαντικότητα υποθέτουν ότι μοιράζεις την κίνηση εξίσου ανάμεσα στην ομάδα ελέγχου και σε μία παραλλαγή.
Τι δεν μοντελοποιεί αυτός ο υπολογιστής: Bayesian priors, sequential tests, περισσότερες από δύο παραλλαγές ή άνισο μοίρασμα της κίνησης. Για όλα αυτά τα μαθηματικά μετατοπίζονται. Ξεκίνα με τον οδηγό πεδίου πριν δεσμευτείς σε ένα μη-στάνταρ design.
Τρέξε αυτό το πείραμα στο Xi.
Ένας υπολογιστής σου λέει αν τα μαθηματικά βγαίνουν. Το Xi τρέχει το πείραμα: κλειδώνει την υπόθεση και το όριο διακοπής από την αρχή, παρακολουθεί αυτόματα τη μετρική και αφήνει τους πράκτορες να βγάλουν την ετυμηγορία, για να μην παρασύρεσαι σε ένα ατέλειωτο «άλλη μία εβδομάδα».