// Grundlagen
Eine Marketing-Entscheidung, die als Test läuft: mit Hypothese, Metrik, Abbruchschwelle für ein frühes Ende und Enddatum für den regulären Abschluss.
Ein Marketing-Experiment ist eine Arbeitseinheit mit einem klaren Vertrag. Statt „lass uns das mal probieren und sehen" schreibst du auf, was du testest, was du misst, was zum Abbruch führt und wann du entscheidest.
Es ist breiter als ein A/B-Test. Ein A/B-Test ist ein Marketing-Experiment auf einer einzelnen Seite. Eine Preisänderung, ein Outbound-Rewrite, eine Paid-Channel-Verschiebung und ein Onboarding-Schritt sind ebenfalls Marketing-Experimente. Die Form bleibt gleich: Hypothese, Metrik, Schwellen, Daten, Urteil.
// BEISPIELWenn wir die LinkedIn Cold DM von drei Absätzen auf eine Zeile kürzen, wird die Antwortrate von 7% auf 15% oder mehr innerhalb von 40 Sends steigen.
Im Detail lesen →Ein System, das jede Marketing-Entscheidung als Experiment mit Vertrag und Urteil festhält und das Ergebnis speichert, sodass die nächste Entscheidung auf der letzten aufbaut.
Ein Experimentiersystem ist das Betriebssystem rund um Marketing-Experimente: der Ort, an dem Verträge festgehalten werden, Metriken gegen Schwellen laufen, Urteile fallen und das Archiv wächst.
Die Kategorie existiert, weil die meisten Marketing-Teams schon Experimente machen, aber als Einzelfälle. Ein Experimentiersystem macht die Arbeit kumulativ: Jeder Test endet in einem Urteil, jedes Urteil wird gespeichert, und das Archiv wird zur Lernbasis des Teams.
Im Detail lesen →Die Praxis, Marketing-Entscheidungen als Experimente statt als Meinungen zu behandeln. Die Disziplin, jede Idee zu testen, zu messen und dann einzuführen oder zu verwerfen.
Marketing-Experimentierung ist die Praxis. Das Experimentiersystem ist das System, das sie unterstützt. Das Marketing-Experiment ist die Arbeitseinheit.
Ein Team betreibt Marketing-Experimentierung, wenn jede nichttriviale Idee durch den Vertrag läuft: Hypothese, Metrik, Schwellen, Daten, Urteil. Das Gegenteil ist meinungsgetriebenes Marketing, der Standardmodus vieler Teams.
Im Detail lesen →// Der Vertrag
Die Vereinbarung, geschrieben bevor ein Experiment läuft, die sagt, was getestet wird, wie gemessen wird, was zum Abbruch führt und wann es endet.
Ein Experiment-Vertrag hat vier Teile: Hypothese, Metrik, Abbruchschwelle, Erfolgsschwelle und Enddatum. Sobald das Experiment startet, ändert sich der Vertrag nicht.
Der Vertrag ist das, was Drift stoppt. Ohne ihn schreibt das Team Erfolgskriterien um, sobald die Daten kommen. Mit ihm entscheiden die Regeln das Urteil, nicht der Raum.
Im Detail lesen →Eine klare Aussage darüber, welche Änderung du machst, was sich bewegen soll und welche Veränderung groß genug wäre, geschrieben bevor das Experiment startet.
Eine brauchbare Marketing-Hypothese hat drei Teile: die Änderung („wenn wir die Cold DM auf eine Zeile kürzen"), den vorhergesagten Effekt („Antwortrate steigt von 7% auf 15% oder höher") und das Zeit- oder Volumenfenster („innerhalb von 40 Sends"). Jeder Teil ist testbar.
Hypothesen, die ohne alle drei Teile geschrieben sind, enden in Bauchgefühl. „Vielleicht funktioniert Content" ist keine Hypothese. „Wenn wir ein Quartal lang zwei Long-Form-Posts pro Woche veröffentlichen, steigen organische Registrierungen von 50 auf 120 pro Monat" schon.
// BEISPIELWenn die Landingpage mit einem klaren Versprechen statt fünf Features führt, steigt die Registrierungsrate von 10% auf 12% oder mehr über 1.000 Visits.
Im Detail lesen →Der Metrikwert, der ein Experiment früh beendet. Du setzt ihn vorab, damit du nicht mit dir selbst verhandelst, wenn die Zahlen kommen.
Eine Abbruchschwelle wird im Vertrag festgelegt, bevor das Experiment läuft. Wenn die Metrik darunter fällt (bei höher-ist-besser-Metriken) oder darüber steigt (bei niedriger-ist-besser-Metriken), endet das Experiment und das Urteil lautet verwerfen.
Die Abbruchschwelle ist keine Hoffnung. Sie ist eine Vorab-Festlegung. Ihr Job ist es, die Entscheidung automatisch zu machen, wenn die Daten schlecht sind, damit das Team nicht ein Quartal darüber streitet, ob es weitermachen soll.
// BEISPIELBei einem Paid-Channel-Test, bei dem gemischter CAC die Metrik ist, könnte die Abbruchschwelle bei $210 gegenüber einem Kontrollwert von $185 liegen. Wenn der CAC unterwegs $210 überschreitet, wird das Experiment beendet und das Budget zurückgenommen.
Im Detail lesen →Der Metrikwert, ab dem das Experiment eingeführt wird. Vorab neben der Abbruchschwelle gesetzt, damit das Urteil von den Regeln entschieden wird und nicht vom Raum.
Eine Erfolgsschwelle ist die Umkehrung einer Abbruchschwelle. Es ist der Wert, den die Metrik bis zum Enddatum erreichen oder überbieten muss, damit das Urteil einführen lautet.
Beide Schwellen im Vertrag zu setzen, macht das Urteil automatisch. Erfolgsschwelle erreicht: einführen. Abbruchschwelle erreicht: verwerfen. Dazwischen gelandet: mit dem Gelernten prüfen.
Im Detail lesen →Die minimale messbare Änderung, zu der du dich vor dem Experimentstart verpflichtest. Die Zahl, unter der ein Ergebnis nicht interessant ist.
Die Hypothesen-Untergrenze ist die kleinste Metrikbewegung, die die Kosten des Experiments rechtfertigt. Sie ist eine strengere Version der Erfolgsschwelle: nicht „die Linie, ab der wir einführen", sondern „die Linie, unter der wir nichts Neues gelernt haben".
Eine Hypothesen-Untergrenze vorab zu setzen, verhindert den häufigsten Marketingfehler: eine 1,2%-Verbesserung nach sechs Wochen Arbeit einzuführen und als Sieg zu verkaufen.
Im Detail lesen →// Ergebnisse
Das Ergebnis eines Experiments nach dem Enddatum oder nachdem eine Schwelle erreicht wurde. Drei Optionen: einführen, verwerfen oder prüfen.
Ein Urteil ist keine Meinung. Es ist das Ergebnis, das der Vertrag vorgibt. Einführen, wenn die Erfolgsschwelle erreicht wurde. Verwerfen, wenn die Abbruchschwelle erreicht wurde oder das Enddatum kam, ohne die Erfolgsschwelle zu schaffen. Prüfen, wenn die Daten uneindeutig sind und der Vertrag den Fall nicht vorgesehen hat.
Das Urteil sorgt dafür, dass ein Experiment zu Lernen wird. Jedes Urteil, ob einführen oder verwerfen, wird zu einer Zeile im Archiv, auf der das nächste Experiment aufbauen kann.
Im Detail lesen →Die Aufzeichnung jedes Experiments, das ein Team durchgeführt hat, mit Vertrag, Metrikbewegung und Urteil. Das gesammelte Gedächtnis eines experimentgetriebenen Teams.
Das Experiment-Archiv ist das langfristige Ergebnis davon, Marketing als Experimente zu betreiben. Jeder Eintrag kombiniert Vertrag, Urteil und Belege. Erfolge sind wiederverwendbar. Fehlschläge auch.
Ein Team ohne Archiv führt alle achtzehn Monate dasselbe Experiment zweimal durch. Ein Team mit Archiv fragt zuerst „haben wir das schon getestet?", bevor es das nächste startet, und überspringt es oder entwirft eine präzisere Version.
Im Detail lesen →