Xi がプロダクト、ドキュメント、これらのリソース全体で使う用語の平易な定義。各エントリは立ったまま読める短さで、行動するのに足りる詳しさ。
テストとして進めるマーケティング上の意思決定。仮説、動かす指標、早期終了の停止基準、期限通りに終える終了日を持つ。
マーケティング実験は、明確な契約が紐付く作業単位だ。「試して様子を見よう」ではなく、何をテストし、何を測り、何なら止めるか、いつ判定するかを書き出す。
A/B テストよりも広い。A/B テストは単一ページ上のマーケティング実験だ。価格変更、アウトバウンドの書き直し、有料チャネルの切替、オンボーディングの一手もすべてマーケティング実験。形は同じだ: 仮説、指標、基準値、日付、判定。
LinkedIn のコールド DM を3段落から1行に削ったら、返信率は40件の送信内で7%から15%以上に上がる。
すべてのマーケティング決定を、契約と判定を伴う実験として捉え、その結果を保存して次の決定が前の上に積み上がるようにするシステム。
実験システム はマーケティング実験を取り巻く運用システムだ。契約が記録され、指標が基準値に対して追跡され、判定が決まり、アーカイブが積み上がる場所。
このカテゴリーが存在するのは、ほとんどのマーケティングチームが既に実験はしているが、単発で終わらせているからだ。実験システム は仕事を積み上げにする: あらゆるテストが判定で終わり、あらゆる判定が保存され、アーカイブがチームの学習基盤になる。
詳しく読む →マーケティングの意思決定を意見ではなく実験として進める実践。アイデアごとにテストし、測り、採用するか止めるかを決める規律。
マーケティング実験の実践はプラクティスだ。実験システム はそれを支えるシステム。マーケティング実験は作業の単位。
チームがマーケティング実験を実践しているのは、些細でないアイデアが必ず契約を通るときだ。仮説、メトリクス、閾値、日付、判定。マーケティング実験の対極は意見ドリブンのマーケティングで、ほとんどのチームの既定がそれだ。
詳しく読む →実験が始まる前に書く合意。何をテストし、どう測り、何なら止めるか、いつ終わるかを定める。
実験契約は4つの部品からなる。仮説、指標、停止基準、成功基準、終了日。実験が始まると、契約は変わらない。
契約はドリフトを止めるものだ。それなしでは、データが届くたびに成功条件を書き直してしまう。それがあれば、判定は部屋ではなくルールが決める。
詳しく読む →どの変更を加えるか、何が動くと期待するか、十分な改善と呼べる大きさを明確に述べる文。実験が始まる前に書く。
使えるマーケティング仮説には3つの部分がある。変更（「コールド DM を1行に削る」）、予測される効果（「返信率が7%から15%以上に上がる」）、時間または量のウィンドウ（「40件の送信内で」）。各部分はテスト可能だ。
3つの部分なしで書かれた仮説はノリに崩れる。「たぶんコンテンツが効く」は仮説ではない。「四半期の間、週2本のロングフォーム投稿を出せば、月のオーガニック登録が50から120に上がる」は仮説だ。
ランディングページが5機能ではなくひとつの明確な約束で始まれば、サインアップ率は1,000訪問で10%から12%以上に上がる。
実験を早期に終わらせるメトリクスの値。数字が来たときに自分と交渉しないよう、最初に決める。
停止基準は実験が始まる前に契約へ入れる。指標がそれを下回る（高い方が良い指標）か上回る（低い方が良い指標）と、実験は終了し、判定は停止になる。
停止基準は希望ではない。事前の約束だ。データが悪いときに判断を自動化し、続けるべきかどうかでチームが四半期を費やさないようにする。
平均 CAC を指標にする有料チャネルテストでは、停止基準がコントロールの $185 に対して $210 になるかもしれない。途中で CAC が $210 を超えれば実験は止まり、支出は戻される。
実験を採用する境界となる指標の値。停止基準と並んで最初に設定し、判定を雰囲気ではなくルールが決めるようにする。
成功基準は停止基準の逆だ。判定を採用にするには、終了日までに指標がこの値に達する、または方向によっては上回る必要がある。
両方の基準値を契約に設定することで、判定が自動化される。成功基準に届けば採用。停止基準に届けば停止。両者の間に着地したら、学んだことをもとに見直す。
詳しく読む →実験が始まる前にコミットする最小の測定可能な変化量。これを下回る結果は興味がない、というライン。
仮説の下限は、そもそも実験を回すコストを正当化する指標上の最小変化だ。成功基準より厳しい版で、「採用する境界」ではなく「これ以下なら何も学んでいない境界」だ。
仮説の下限を最初に設定すると、最も多いマーケティングの失敗を防げる: 6週間かかった1.2%の改善を採用し、勝ちと呼んでしまうこと。
詳しく読む →終了日後、または基準値に達した後の実験の結果。3つの選択肢: 採用、停止、見直し。
判定は意見ではない。契約が結果として定めるものだ。成功基準を満たせば採用。停止基準に達したか、終了日が来ても成功基準を超えなかったら停止。データが曖昧で契約が想定していない場合は見直し。
判定は実験を学習として積み上げるものだ。採用でも停止でも、各判定はアーカイブの1行になり、次の実験がその上に積み上がる。
詳しく読む →チームが回したすべての実験の記録。契約、指標の動き、判定が含まれる。実験で動くチームの蓄積された記憶。
実験アーカイブは、マーケティングを実験として進めた長期的な成果だ。各エントリは契約、判定、その裏にある証拠をまとめる。勝ちも再利用できる。失敗も再利用できる。
アーカイブのないチームは、18か月ごとに同じ実験を繰り返す。アーカイブがあるチームは、次を回す前に「これは既にテストしたか?」を確認し、飛ばすか、より精度の高い版を設計する。
詳しく読む →