// Temeller
Test olarak yürütülen bir pazarlama kararı. Hipotezi, hareket ettirilecek metriği, erken bitiren durdurma eşiği ve zamanında kapatan bitiş tarihi vardır.
Pazarlama deneyi, net bir kontratı olan iş birimidir. "Bunu deneyelim de görelim" yerine neyi test ettiğini, neyi ölçeceğini, neyin deneyi durduracağını ve ne zaman karar vereceğini yazarsın.
A/B testinden daha geniştir. A/B testi, tek bir sayfa üzerinde çalışan pazarlama deneyidir. Fiyat değişikliği, dışa dönük erişim yeniden yazımı, ücretli kanal değişikliği ve alıştırma süreci adımı da pazarlama deneyidir. Şekil aynı kalır: hipotez, metrik, eşikler, tarihler, karar.
// ÖRNEKLinkedIn cold DM’imizi üç paragraftan tek bir satıra indirirsek, yanıt oranı 40 gönderim içinde 7%’den 15% veya daha fazlasına çıkacak.
Ayrıntılı oku →Her pazarlama kararını kontratı ve kararı olan bir deney olarak yakalayan ve sonucu saklayarak sonraki kararın bir öncekinin üstüne çıkmasını sağlayan sistem.
Deney sistemi, pazarlama deneylerinin etrafındaki işletim sistemidir: kontratların kaydedildiği, metriklerin eşiklere göre takip edildiği, kararların verildiği ve arşivin biriktiği yer.
Bu kategori var çünkü çoğu pazarlama ekibi zaten deney yapıyor ama tek seferlik. Deney sistemi işi biriken öğrenmeye çevirir: her test bir kararla biter, her karar saklanır ve arşiv ekibin öğrenme tabanı olur.
Ayrıntılı oku →Pazarlama kararlarını görüş yerine deney olarak yürütme pratiği. Her fikri test etme, ölçme ve benimseme ya da durdurma disiplini.
Pazarlama deneyleri pratiktir. Deney sistemi onu destekleyen sistemdir. Pazarlama deneyi iş birimidir.
Bir ekip, her önemsiz olmayan fikir kontrattan geçtiğinde pazarlama deneyleriyle çalışıyor demektir: hipotez, metrik, eşikler, tarihler, karar. Bunun tersi görüş güdümlü pazarlamadır ve çoğu ekibin varsayılanı odur.
Ayrıntılı oku →// Kontrat
Deney başlamadan önce yazılan ve neyin test edildiğini, nasıl ölçüleceğini, neyin onu durduracağını ve ne zaman biteceğini söyleyen anlaşma.
Deney kontratı dört parçadan oluşur: hipotez, metrik, durdurma eşiği, başarı eşiği ve bitiş tarihi. Deney başladığında kontrat değişmez.
Kontrat sürüklenmeyi durduran şeydir. Onsuz, ekip veriler geldikçe başarı kriterlerini yeniden yazar. Onunla, kararı oda değil kurallar verir.
Ayrıntılı oku →Yaptığın değişikliğin, neyin hareket etmesini beklediğinin ve yeterli sayacağın iyileşmenin açık ifadesi. Deney başlamadan önce yazılır.
İşe yarar bir pazarlama hipotezinin üç parçası vardır: değişiklik ("cold DM’i tek satıra indirirsek"), öngörülen etki ("yanıt oranı 7%’den 15% veya daha fazlasına çıkar") ve zaman veya hacim penceresi ("40 gönderim içinde"). Her parça test edilebilir.
Üç parçası olmadan yazılan hipotezler havaya çöker. "Belki içerik işe yarar" hipotez değildir. "Bir çeyrek boyunca haftada iki uzun post yayınlarsak organik kayıtlar ayda 50’den 120’ye çıkar" hipotezdir.
// ÖRNEKAçılış sayfası beş özellik yerine tek bir net vaatle açılırsa, kayıt oranı 1.000 ziyarette 10%’dan 12% veya daha fazlasına çıkacak.
Ayrıntılı oku →Bir deneyi erken bitiren metrik değeri. Sayılar geldiğinde kendinle pazarlık etmemek için baştan koyarsın.
Durdurma eşiği deney başlamadan önce kontrata yazılır. Metrik onun altına düşerse (yüksek olanın iyi olduğu metriklerde) ya da üstüne çıkarsa (düşük olanın iyi olduğu metriklerde), deney biter ve karar durdur olur.
Durdurma eşiği bir umut değildir. Önceden verilmiş bir sözdür. Görevi, veri kötü olduğunda kararı otomatik kılmak; böylece ekip devam edip etmemeyi tartışarak bir çeyrek geçirmez.
// ÖRNEKMetriği karma CAC olan bir ücretli kanal testinde, durdurma eşiği $185 kontrol değerine karşı $210 olabilir. CAC yolun ortasında $210’u geçerse deney durdurulur ve harcama geri çekilir.
Ayrıntılı oku →Deneyin benimsendiği metrik değeri. Durdurma eşiğinin yanında baştan ayarlanır, böylece kararı oda değil kurallar verir.
Başarı eşiği, durdurma eşiğinin tersidir. Kararın benimse olması için metriğin bitiş tarihine kadar ulaşması ya da yöne göre aşması gereken değerdir.
İki eşiği de kontrata koymak kararı otomatik yapar. Başarı eşiğine ulaş: benimse. Durdurma eşiğine ulaş: durdur. İkisinin arasında kal: öğrendiklerinle gözden geçir.
Ayrıntılı oku →Deney başlamadan önce taahhüt ettiğin minimum ölçülebilir değişiklik. Sonucun ilginç olmadığı sayı.
Hipotez tabanı, deneyi yürütmenin maliyetini haklı çıkaran en küçük metrik hareketidir. Başarı eşiğinin daha sıkı bir versiyonudur: "benimsediğimiz çizgi" değil, "yeni bir şey öğrenmediğimiz çizgi".
Hipotez tabanını baştan koymak en yaygın pazarlama hatasını önler: altı hafta süren 1,2%’lik bir iyileştirmeyi benimseyip buna zafer demek.
Ayrıntılı oku →// Çıktılar
Bitiş tarihinden veya bir eşiğe ulaşıldıktan sonraki deney sonucu. Üç seçenek: benimse, durdur veya gözden geçir.
Karar bir görüş değildir. Sonucu söyleyen kontrattır. Başarı eşiği karşılandıysa benimse. Durdurma eşiğine ulaşıldıysa veya bitiş tarihi başarı eşiği aşılmadan geldiyse durdur. Veriler belirsizse ve kontrat bu durumu öngörmediyse gözden geçir.
Karar, deneyi biriken öğrenmeye dönüştürür. Her karar, benimse ya da durdur, arşivde bir satır olur ve sonraki deney bunun üzerine kurulabilir.
Ayrıntılı oku →Bir ekibin yürüttüğü her deneyin, kontratıyla, metrik hareketiyle ve kararıyla kaydı. Deneyle çalışan bir ekibin biriken hafızası.
Deney arşivi, pazarlamayı deney olarak yürütmenin uzun vadeli sonucudur. Her giriş kontrat, karar ve arkasındaki kanıtı birleştirir. Kazanımlar yeniden kullanılabilir. Başarısızlıklar da.
Arşivi olmayan bir ekip her on sekiz ayda bir aynı deneyi yeniden yürütür. Arşivi olan bir ekip bir sonrakini başlatmadan önce "bunu daha önce test ettik mi?" diye bakar; ya atlar ya da daha net bir versiyon tasarlar.
Ayrıntılı oku →