01
Wizard of Oz
Fake the system end to end if the workflow needs validation.
明確な対象ユーザー、主要指標、そして結果を都合よく解釈しない運用ルールが必要です。
購買心理ガイド// 創業者向け実験ピッカー
トラフィックに合う実験を選ぶ。
多くの創業者は、いちばん目立つという理由でA/Bテストに飛びつく。ところが、その規模ではほとんど終わらない。フェーズ、ゴール、トラフィックを教えてくれれば、きちんと結論が出る形の実験を返す。
現在の状況
テスト対象のページやファネルのトラフィック。まだなければ0にしてください。
あわせて検討
02
スモークテスト用ランディング
A fake-door landing for the next feature is cheap signal.
明確な対象ユーザー、主要指標、そして結果を都合よく解釈しない運用ルールが必要です。
GTMエンジン選び方
創業者の実験の形は、3つのインプットで決まる。
- フェーズ。ローンチ前の課題は需要と支払意思の課題。PMF後の課題はコンバージョン、アクティベーション、リテンション。正しい実験の形はそれに応じて変わる。
- ゴール。需要や価格の検証ならお金かクリックスルーが要る。既存メトリクスを引き上げるなら統計的な比較が要る。違う証拠には違う道具を使う。
- トラフィック。A/Bテスト、行動テスト、コホートリテンションは、いずれもデルタを読むためにサンプルサイズが要る。下限を下回るなら、質的手法は格下げではなく、むしろ正しい道具だ。
推奨がA/Bテストなら、次に向かうのは サンプルサイズの現実チェックだ。あなたの数字で本当に算数が成り立つかを教えてくれる。たいていは成り立たない。だからこそ、このピッカーが存在する。
このツールでないもの：仮説の代わりにはならない。ピッカーは走らせる実験の種類を教えてくれるだけで、賭け、キル閾値、成功ラインは始める前に自分で書き出す必要がある。 CROフィールドガイドが、その規律を長文で扱った版だ。
この実験をXiで走らせる。
ピッカーはどの形を走らせるかを教えてくれる。Xiは実際に走らせる。仮説とキル閾値を最初にロックし、メトリクスを自動でトラックし、エージェントに判定を出させる。だから「あと一週間だけ」が永遠に続くこともない。