// Θεμέλια
Μια απόφαση marketing που τρέχει σαν τεστ, με υπόθεση, μετρική που πρέπει να κινηθεί, όριο διακοπής για πρόωρο τέλος και ημερομηνία λήξης.
Ένα πείραμα μάρκετινγκ είναι μονάδα δουλειάς με καθαρό συμβόλαιο. Αντί για «ας το δοκιμάσουμε και βλέπουμε», γράφεις τι τεστάρεις, τι μετράς, τι θα το σταματήσει και πότε θα αποφασίσεις.
Είναι ευρύτερο από μια A/B δοκιμή. Μια A/B δοκιμή είναι πείραμα μάρκετινγκ σε μία σελίδα. Μια αλλαγή τιμολόγησης, μια νέα ψυχρή προσέγγιση, μια αλλαγή σε πληρωμένο κανάλι και ένα βήμα εισαγωγή χρήστη είναι επίσης πειράματα μάρκετινγκ. Η μορφή είναι ίδια: υπόθεση, μετρική, όρια, ημερομηνίες, ετυμηγορία.
// ΠΑΡΑΔΕΙΓΜΑΑν κόψουμε το LinkedIn cold DM από τρεις παραγράφους σε μία γραμμή, το reply rate θα ανέβει από 7% σε 15% ή ψηλότερα μέσα σε 40 αποστολές.
Διάβασε αναλυτικά →Ένα σύστημα που πιάνει κάθε απόφαση marketing σαν πείραμα με συμβόλαιο και ετυμηγορία και αποθηκεύει το αποτέλεσμα ώστε η επόμενη απόφαση να χτίζει πάνω στην προηγούμενη.
Ένα σύστημα πειραμάτων είναι το λειτουργικό σύστημα γύρω από τα πειράματα μάρκετινγκ: ο χώρος όπου τα συμβόλαια καταγράφονται, οι μετρικές παρακολουθούνται απέναντι σε όρια, οι ετυμηγορίες κρίνονται και το αρχείο μεγαλώνει.
Η κατηγορία υπάρχει επειδή οι περισσότερες ομάδες marketing ήδη κάνουν πειράματα, αλλά αποσπασματικά. Ένα σύστημα πειραμάτων μετατρέπει τη δουλειά σε συσσωρευμένη μάθηση: κάθε test τελειώνει σε ετυμηγορία, κάθε ετυμηγορία αποθηκεύεται και το αρχείο γίνεται η βάση μάθησης της ομάδας.
Διάβασε αναλυτικά →Η πρακτική να τρέχεις αποφάσεις marketing σαν πειράματα αντί για γνώμες. Η πειθαρχία να τεστάρεις, να μετράς και μετά να υιοθετείς ή να σταματάς κάθε ιδέα.
Ο πειραματισμός marketing είναι η πρακτική. Το σύστημα πειραμάτων είναι το σύστημα που τη στηρίζει. Το πείραμα marketing είναι η μονάδα δουλειάς.
Μια ομάδα ασκεί πειραματισμό marketing όταν κάθε μη τετριμμένη ιδέα περνάει από το συμβόλαιο: υπόθεση, μετρική, thresholds, ημερομηνίες, ετυμηγορία. Το αντίθετο του πειραματισμού marketing είναι το marketing βάσει γνώμης, που είναι αυτό που πέφτουν οι περισσότερες ομάδες ως default.
Διάβασε αναλυτικά →// Το συμβόλαιο
Η συμφωνία, γραμμένη πριν τρέξει το πείραμα, που λέει τι τεστάρεται, πώς θα μετρηθεί, τι το σταματά και πότε τελειώνει.
Ένα συμβόλαιο πειράματος έχει τέσσερα μέρη: υπόθεση, μετρική, όριο διακοπής, όριο επιτυχίας και ημερομηνία λήξης. Μόλις ξεκινήσει το πείραμα, το συμβόλαιο δεν αλλάζει.
Το συμβόλαιο σταματάει τη μετατόπιση. Χωρίς αυτό, η ομάδα ξαναγράφει τα κριτήρια επιτυχίας καθώς έρχονται τα δεδομένα. Με αυτό, οι κανόνες αποφασίζουν την ετυμηγορία, όχι το δωμάτιο.
Διάβασε αναλυτικά →Μια ξεκάθαρη δήλωση της αλλαγής που κάνεις, του τι περιμένεις να κινηθεί και του μεγέθους βελτίωσης που θα θεωρούσες αρκετό, γραμμένη πριν ξεκινήσει το πείραμα.
Μια χρήσιμη υπόθεση marketing έχει τρία μέρη: την αλλαγή («αν κόψουμε το cold DM σε μία γραμμή»), το προβλεπόμενο αποτέλεσμα («το reply rate ανεβαίνει από 7% σε 15% ή ψηλότερα») και το παράθυρο χρόνου ή όγκου («σε 40 αποστολές»). Κάθε μέρος είναι testable.
Υποθέσεις γραμμένες χωρίς και τα τρία μέρη καταρρέουν σε αίσθηση. «Ίσως το περιεχόμενο δουλέψει» δεν είναι υπόθεση. «Αν δημοσιεύσουμε δύο αναλυτικά άρθρα την εβδομάδα για ένα τρίμηνο, οι οργανικές εγγραφές θα ανέβουν από 50 σε 120 τον μήνα» είναι.
// ΠΑΡΑΔΕΙΓΜΑΑν η σελίδα προσγείωσης οδηγεί με μία ξεκάθαρη υπόσχεση αντί για πέντε λειτουργίες, το ποσοστό εγγραφής θα ανέβει από 10% σε 12% ή ψηλότερα στις 1.000 επισκέψεις.
Διάβασε αναλυτικά →Η τιμή της μετρικής που τερματίζει ένα πείραμα νωρίς. Τη βάζεις από την αρχή για να μην διαπραγματεύεσαι με τον εαυτό σου όταν έρθουν οι αριθμοί.
Το όριο διακοπής μπαίνει στο συμβόλαιο πριν τρέξει το πείραμα. Αν η μετρική πέσει κάτω από αυτό (για μετρικές όπου πιο ψηλά είναι καλύτερα) ή πάνω από αυτό (για μετρικές όπου πιο χαμηλά είναι καλύτερα), το πείραμα τελειώνει και η ετυμηγορία είναι διακοπή.
Το όριο διακοπής δεν είναι ελπίδα. Είναι προ-δέσμευση. Δουλειά του είναι να κάνει την απόφαση αυτόματη όταν τα δεδομένα είναι κακά, ώστε η ομάδα να μην ξοδέψει ένα τρίμηνο τσακώνοντας αν θα συνεχίσει.
// ΠΑΡΑΔΕΙΓΜΑΣε ένα δοκιμή πληρωμένου καναλιού όπου η μετρική είναι το μέσο CAC, το όριο διακοπής μπορεί να είναι $210 έναντι τιμή ελέγχου $185. Αν το CAC ξεπεράσει τα $210 στη μέση, το πείραμα σταματά και το budget αποσύρεται.
Διάβασε αναλυτικά →Η τιμή της μετρικής πάνω από την οποία το πείραμα υιοθετείται. Ορίζεται από την αρχή μαζί με το όριο διακοπής, ώστε η ετυμηγορία να αποφασίζεται από τους κανόνες και όχι από το δωμάτιο.
Το όριο επιτυχίας είναι το αντίστροφο του ορίου διακοπής. Είναι η τιμή που η μετρική πρέπει να φτάσει ή να ξεπεράσει μέχρι την ημερομηνία λήξης ώστε η ετυμηγορία να είναι υιοθέτηση.
Το να βάλεις και τα δύο όρια στο συμβόλαιο κάνει την ετυμηγορία αυτόματη. Πιάσε το όριο επιτυχίας: υιοθέτηση. Πιάσε το όριο διακοπής: διακοπή. Μείνε ανάμεσά τους: επανεξέταση με ό,τι έμαθες.
Διάβασε αναλυτικά →Η ελάχιστη μετρήσιμη αλλαγή που δεσμεύεσαι πριν ξεκινήσει το πείραμα. Ο αριθμός κάτω από τον οποίο ένα αποτέλεσμα δεν έχει ενδιαφέρον.
Το κατώφλι υπόθεσης είναι η μικρότερη κίνηση στη μετρική που δικαιολογεί το κόστος του πειράματος. Είναι αυστηρότερη εκδοχή του ορίου επιτυχίας: όχι «η γραμμή πάνω από την οποία υιοθετούμε», αλλά «η γραμμή κάτω από την οποία δεν μάθαμε τίποτα νέο».
Το να βάλεις κατώφλι υπόθεσης από την αρχή αποτρέπει τη συχνότερη marketing αποτυχία: να υιοθετήσεις βελτίωση 1,2% που πήρε έξι εβδομάδες δουλειάς και να τη λες νίκη.
Διάβασε αναλυτικά →// Αποτελέσματα
Το αποτέλεσμα ενός πειράματος μετά την ημερομηνία λήξης ή αφού χτυπηθεί ένα όριο. Τρεις επιλογές: υιοθέτηση, διακοπή ή επανεξέταση.
Μια ετυμηγορία δεν είναι γνώμη. Είναι το αποτέλεσμα που ορίζει το συμβόλαιο. Υιοθέτηση αν πιάστηκε το όριο επιτυχίας. Διακοπή αν πιάστηκε το όριο διακοπής ή αν ήρθε η ημερομηνία λήξης χωρίς να ξεπεραστεί το όριο επιτυχίας. Επανεξέταση αν τα δεδομένα είναι ασαφή και το συμβόλαιο δεν προέβλεψε την περίπτωση.
Η ετυμηγορία μετατρέπει το πείραμα σε συσσωρευμένη μάθηση. Κάθε ετυμηγορία, υιοθέτηση ή διακοπή, γίνεται γραμμή στο αρχείο πάνω στην οποία μπορεί να χτίσει το επόμενο πείραμα.
Διάβασε αναλυτικά →Το αρχείο κάθε πειράματος που έτρεξε μια ομάδα, με το συμβόλαιο, την κίνηση της μετρικής και την ετυμηγορία. Η συσσωρευμένη μνήμη μιας ομάδας που δουλεύει με πειράματα.
Το αρχείο πειραμάτων είναι το μακροπρόθεσμο αποτέλεσμα του να τρέχεις marketing σαν πειράματα. Κάθε καταχώρηση συνδυάζει συμβόλαιο, ετυμηγορία και αποδείξεις. Οι νίκες ξαναχρησιμοποιούνται. Οι αποτυχίες επίσης.
Μια ομάδα χωρίς αρχείο ξανατρέχει το ίδιο πείραμα κάθε δεκαοκτώ μήνες. Μια ομάδα με αρχείο ρωτά πρώτα «το έχουμε ξανατεστάρει;» και μετά είτε το παρακάμπτει είτε σχεδιάζει μια πιο καθαρή εκδοχή.
Διάβασε αναλυτικά →