// 創業者向け A/Bテスト現実チェック
この実験を回すだけのトラフィックはあるか？
創業者の A/Bテストの大半は、統計的有意性に到達しない。数値を入れて、この テストが数日で終わるのか、数週間かかるのか、永遠に終わらないのかを確かめよう。
入力する数値
%
ページが現在どれだけ変換しているか。
%
実際に意思決定に使う最小の改善。+20% は 5% から 6% への改善。
テスト対象ページの月間トラフィック。2つのバージョンに均等配分する前提。
実行可能性マップ
このテストがコスト曲線のどこにあるか。点は入力値に最も近いセルです。
選択中のセル
ベースライン 5% → 検出する改善幅 +20% 相対リフト
サンプル / バージョン
8,146
月10kで
1.6 か月
< 14d
< 60d
60-180d
> 180d
数学のしくみ
すべての A/B テストは 4 つの数字で決まる。
- ベースラインのコンバージョン率（p₁）。 ページが現在出しているもの。ベースラインが低いほど、同じ相対的なリフトを検出するために指数関数的に多くのサンプルが必要になる。
- 最小検出可能効果（MDE）。 検出できるようにしたい最小の相対的改善。MDE が小さいほど、必要なサンプルは劇的に増える。
- 有意水準（α = 0.05）。 偽陽性への許容度。業界標準の 95% 信頼度がここに固定されている。
- 統計的検出力（1−β = 0.80）。 実際に本物の効果を捕まえる確率。80% が慣例で、ここに固定されている。
n = (Zα/2 + Zβ)² × (p₁(1−p₁) + p₂(1−p₂)) / (p₂ − p₁)²
95% 信頼度と 80% 検出力では、(Zα/2 + Zβ)² ≈ 7.84。有意性までの日数は、トラフィックをコントロールと 1 つのバリアントで均等に分割することを前提としている。
この計算ツールがモデル化しないもの： ベイジアンの事前分布、 シーケンシャルテスト、3 つ以上のバリアント、不均等なトラフィック分割。 これらすべてで数学はずれる。標準ではない設計にコミットする前に、まず 実践ガイドから始めよう。
この実験を Xi で回そう。
計算ツールは数学が成り立つかを教えてくれる。Xi は実験そのものを回す。仮説と 停止基準を最初に固定し、メトリックを自動でトラックし、エージェントに 判定を出させる。だから「あと 1 週間だけ」が永遠に続くドリフトに陥らない。