Pourquoi l’expérimentation est la seule façon honnête de grandir

Les opinions sont bon marché. Les preuves sont rares. La différence entre une équipe qui grandit et une équipe qui ne fait que bouger, c’est de pouvoir dire laquelle de ses opinions est correcte. L’expérimentation, c’est la discipline qui transforme « je pense » en « on a testé ». C’est l’habitude la plus importante qu’une petite boîte puisse construire, et celle qui, une fois acquise, fait que tout ce qui précède dans cette série ressemble à un échauffement.

C’est la dernière leçon de la série de prérequis. La suite, c’est le guide de marketing digital, là où se trouvent les canaux, l’analytics et les méthodes de travail. Tout ce qui s’y trouve suppose que tu comprends ce qu’est une expérience et pourquoi tu prendrais la peine d’en lancer une. Cette leçon est le pont.

// 01Pourquoi la croissance pilotée par les opinions échoue

C’est facile à voir avec le recul. Toute équipe qui a déjà perdu un an sur un mauvais pari a fait les mêmes trois choses, à peu près dans le même ordre.

• Une personne sûre d’elle a fait une affirmation sûre d’elle: Parfois une personne fondatrice, parfois une nouvelle recrue, parfois un consultant. L’affirmation était assez précise pour agir, mais pas assez précise pour être vérifiée.
• L’équipe a exécuté l’affirmation: Ils ont construit la fonctionnalité, lancé la campagne, recruté quelqu’un pour le poste. Personne n’a écrit à quoi ressemblerait le succès ou l’échec, parce que personne n’a posé la question.
• Le résultat a été ambigu: Certains chiffres sont montés, d’autres ont baissé, d’autres sont restés pareils. L’affirmation initiale a été interprétée pour coller à ce qui s’est passé. Personne n’a appris quoi que ce soit. La prochaine affirmation sûre d’elle a reçu le même traitement.

// 02Ce qu’est vraiment une expérience

Une expérience est un accord écrit avec toi-même, avant de faire quoi que ce soit, sur ce que tu attends qu’il se passe et comment tu sauras que tu as eu tort. Elle a quatre parties. Ensemble, on les appelle parfois le contrat d’expérience.

• Une hypothèse: Une affirmation de cause à effet, en langage clair. « Si on change le bloc principal de la page d’accueil pour passer d’un message centré fonctionnalités à un message centré résultats, les inscriptions payantes passeront de 2,4 % à plus de 3,0 % en quatre semaines. »
• Une métrique: Le seul chiffre qui te dira si l’hypothèse était bonne. Une métrique, pas cinq. Les expériences les plus faciles à lire sont celles avec le moins de pièces mobiles.
• Un seuil de réussite et un seuil d’arrêt: Les valeurs de la métrique qui veulent dire « publier le changement » et « arrêter maintenant ». Fixées à l’avance, avant qu’aucun résultat ne soit visible.
• Une date de fin: Un jour précis dans le calendrier. Sans ça, les expériences dérivent ; l’équipe continue de regarder les chiffres bouger et ne décide jamais rien.

Chacun de ces éléments est anodin pris seul. Ensemble, ils sont la différence entre lancer une expérience et être occupé. Une équipe qui écrit ça avant d’agir, et le relit quand les résultats arrivent, prend de meilleures décisions qu’une équipe qui ne le fait pas, peu importe à quel point l’une ou l’autre est brillante.

// 03Le contrat, c’est tout l’intérêt

C’est tentant de penser que l’expérience est le changement que tu as fait : la nouvelle page d’accueil, la nouvelle créa publicitaire, la nouvelle page de prix. Le changement n’est pas l’expérience. Le contrat est l’expérience. Le changement est le pari que tu places.

• Il force l’honnêteté dès le départ: Quand tu dois t’engager sur un seuil d’arrêt avant que des données existent, tu vas te surprendre dans des raisonnements trop optimistes. La plupart des équipes découvrent que leur hypothèse était plus floue qu’elles ne pensaient dès qu’elles essaient d’écrire le seuil.
• Il sort la politique de la décision: La décision de publier ou d’arrêter n’est pas une réunion. C’est une comparaison entre un chiffre et une valeur que tu as écrite il y a deux semaines. On peut être en désaccord sur la stratégie ; pas avec l’arithmétique.
• Il accumule l’apprentissage: Une équipe qui a lancé trente expériences sait des choses qu’une équipe qui lance la première ne peut pas savoir, peu importe à quel point elle est brillante. Le contrat rend l’apprentissage réutilisable.

// 04La différence entre tester et essayer

La plupart des équipes se décrivent comme « en train de tester des choses ». En pratique, presque tout ce qu’elles font, c’est essayer des choses. Les deux sont identiques de l’extérieur et identiques pendant les premières semaines. La différence apparaît plus tard.

• Essayer produit du mouvement: Tu changes quelque chose, tu regardes les tableaux de bord, tu te formes une opinion, tu changes autre chose. L’activité est haute. L’apprentissage par unité d’activité est bas. Au bout d’un an, les mêmes débats reviennent ; rien n’a été tranché.
• Tester produit des preuves: Tu écris ce que tu attends, tu lances le changement, tu lis le résultat contre ce que tu as dit à l’avance, et tu prends une décision propre. Au bout d’un an, une liste de questions résolues s’est accumulée. Chaque nouvelle expérience peut s’appuyer sur les précédentes.

La barre pour pouvoir appeler quelque chose un test est basse : écris les quatre parties du contrat avant de commencer. La barre est aussi étonnamment difficile à passer, parce qu’elle exige d’être précis sur quelque chose que tu préférerais garder flexible.

// 05Pourquoi l’expérimentation devient plus dure, pas plus facile, à mesure que tu grandis

Ça vaut la peine de le savoir à l’avance, parce que c’est contre-intuitif. Une fois qu’une boîte a du chiffre d’affaires, des clients et une marque, le coût de changer les choses monte. Le nombre de gens avec des opinions monte aussi. Sans habitude de lancer des expériences, les décisions deviennent plus lentes et pires avec le temps, pas plus rapides et meilleures.

• Plus à perdre: Une refonte avec cinq clients, c’est amusant. Une refonte avec cinq mille clients, c’est un projet avec des parties prenantes. Sans contrat, le projet devient une négociation ; avec contrat, il reste une question.
• Plus d’opinions à coordonner: Les ventes ont une vision, le marketing en a une autre, le produit aussi. Le contrat est le seul moyen de donner à ces visions quelque chose sur quoi être en désaccord sans gâcher un trimestre.
• Plus de bruit à lire: À l’échelle, les chiffres bougent tout seuls. Tu vas voir des variations qui n’ont rien à voir avec ce que tu as changé. Le seuil fixé à l’avance, c’est ce qui te protège de lire du sens dans le bruit.

// 06Où aller ensuite

Tu as les prérequis. Le reste des ressources sur Xi suppose que tu sais ce qu’est une expérience, pourquoi un contrat d’expérience compte, et pourquoi en lancer exprès bat la devinette. Deux prochains pas valent la peine, dans n’importe quel ordre.

• Le guide de marketing digital: Dix leçons en profondeur sur les canaux, l’analytics, la psychologie de l’acheteur, le SEO, l’email, la publicité payante, les réseaux sociaux, le go-to-market, l’optimisation de conversion et la part de marketing que les responsables produit doivent comprendre. Chacune se termine avec une ou deux expériences que tu peux lancer aujourd’hui.
• Ta première expérience dans Xi: Le produit est construit autour du contrat : hypothèse, métrique, seuils de réussite et d’arrêt, date de fin. Choisir un seul changement que tu envisageais et t’engager dessus comme une vraie expérience, c’est la façon la plus rapide de ressentir la différence entre tester et essayer.

// 07Cinq choses à retenir

• 01: Les opinions sont bon marché. L’équipe qui grandit est celle qui sait dire lesquelles de ses opinions sont correctes.
• 02: Une expérience est un contrat écrit en quatre parties : une hypothèse, une métrique, des seuils de réussite et d’arrêt, et une date de fin. Fixé avant tout changement.
• 03: Le contrat est l’expérience, pas le changement. Le changement est le pari. Le contrat est ce qui transforme le pari en preuve.
• 04: Tester et essayer se ressemblent pendant deux semaines et diffèrent pour toujours après. La différence, c’est si l’équipe a l’habitude d’écrire ce qu’elle attend.
• 05: Commence petit et commence maintenant. Plus tôt l’habitude se forme, plus elle s’accumule. Chaque décision plus tard dans ta carrière devient plus facile à mesure que tu lances de vraies expériences.

Voilà le prérequis. Tout le reste est le vrai travail : choisir un canal, écrire le texte, lancer la campagne, lire le résultat, décider de la suite. Fait avec discipline, le travail est honnête, lent et presque embarrassant d’efficacité. Fait sans, c’est un tapis roulant à toute taille de boîte. Les deux prochains pas dans la box ci-dessous prennent exactement la suite.