Por que experimentar é o único jeito honesto de crescer

Opiniões são baratas. Evidência é rara. A diferença entre um time que cresce e um que só se mexe é se conseguem dizer qual das suas opiniões está certa. A experimentação é a disciplina que transforma "eu acho" em "a gente testou". É o hábito mais importante que uma empresa pequena pode construir, e o que, depois que você tem, faz tudo o anterior nessa série parecer aquecimento.

Esta é a última lição da série de pré-requisitos. O próximo passo é o guia de marketing digital, onde estão os canais, a analítica e as práticas de operação. Tudo ali assume que você entende o que é um experimento e por que se daria ao trabalho de rodar um. Esta lição é a ponte.

// 01Por que crescer com base em opinião falha

É fácil ver em retrospecto. Todo time que já perdeu um ano para uma aposta ruim fez as mesmas três coisas, mais ou menos na mesma ordem.

• Uma pessoa confiante fez uma afirmação confiante: Às vezes uma pessoa fundadora, às vezes alguém recém-contratado, às vezes um consultor. A afirmação era específica o bastante para agir, mas não específica o bastante para verificar.
• O time executou a afirmação: Construíram a funcionalidade, rodaram a campanha, contrataram alguém para o cargo. Ninguém escreveu como sucesso ou fracasso ia parecer, porque ninguém perguntou.
• O resultado foi ambíguo: Alguns números subiram, outros caíram, outros ficaram iguais. A afirmação original foi interpretada para encaixar com o que aconteceu. Ninguém aprendeu nada. A próxima afirmação confiante recebeu o mesmo tratamento.

// 02O que é um experimento de verdade

Um experimento é um acordo escrito com você mesmo, antes de fazer qualquer coisa, sobre o que você espera que aconteça e como vai saber se errou. Tem quatro partes. Juntas, às vezes se chama de contrato do experimento.

• Uma hipótese: Uma afirmação sobre causa e efeito, em linguagem clara. "Se mudarmos o bloco principal da página inicial de uma mensagem centrada em recursos para uma mensagem centrada em resultados, os cadastros pagos vão subir de 2,4% para mais de 3,0% em quatro semanas."
• Uma métrica: O único número que vai te dizer se a hipótese estava certa. Uma métrica, não cinco. Os experimentos mais fáceis de ler são os com menos partes em movimento.
• Um limite de sucesso e um de descarte: Os valores da métrica que significam "publique a mudança" e "pare agora". Definidos antes, antes de qualquer resultado ficar visível.
• Uma data de fim: Um dia específico no calendário. Sem isso, experimentos derivam; o time fica olhando os números se mexerem e nunca decide nada.

Cada um deles é pouco notável sozinho. Juntos são a diferença entre rodar um experimento e estar ocupado. Um time que escreve isso antes de agir e relê quando os resultados chegam toma decisões melhores do que um que não escreve, não importa o quanto qualquer dos dois times seja inteligente.

// 03O contrato é o ponto inteiro

É tentador pensar que o experimento é a mudança que você fez: a página inicial nova, o novo criativo de anúncio, a nova página de preços. A mudança não é o experimento. O contrato é o experimento. A mudança é a aposta que você está fazendo.

• Força honestidade desde o começo: Quando você precisa se comprometer a um limite de descarte antes de qualquer dado existir, você se pega em qualquer pensamento desejoso inconsciente. A maioria dos times descobre que sua hipótese era mais vaga do que percebia assim que tenta escrever o limite.
• Tira a política do veredicto: A decisão de publicar ou descartar não é uma reunião. É a comparação entre um número e um valor que você escreveu há duas semanas. Pessoas podem discordar de estratégia; não podem discordar de aritmética.
• Acumula aprendizado: Um time que rodou trinta experimentos sabe coisas que um time rodando o primeiro não sabe, por mais brilhante que seja. O contrato é o que torna o aprendizado reutilizável.

// 04A diferença entre testar e tentar

A maioria dos times se descreve como "testando coisas". Na prática, quase tudo o que fazem é tentar coisas. As duas parecem idênticas de fora e se sentem idênticas nas primeiras semanas. A diferença aparece depois.

• Tentar produz movimento: Você muda algo, olha os painéis de métricas, forma uma opinião, muda outra coisa. Atividade alta. Aprendizado por unidade de atividade baixo. Depois de um ano, os mesmos argumentos voltam; nada foi resolvido.
• Testar produz evidência: Você escreve o que espera, roda a mudança, lê o resultado contra o que disse antes e toma uma decisão limpa. Depois de um ano, acumulou uma lista de perguntas resolvidas. Cada novo experimento pode se apoiar nos anteriores.

A barra para chamar uma coisa de teste é baixa: escreve as quatro partes do contrato antes de começar. A barra também é surpreendentemente difícil de passar, porque exige ser específico sobre algo que você preferia manter flexível.

// 05Por que experimentação fica mais difícil, não mais fácil, conforme você cresce

Vale saber isso adiantado, porque é contraintuitivo. Uma vez que a empresa tem receita, clientes e marca, o custo de mudar coisas sobe. O número de pessoas com opinião também sobe. Sem o hábito de rodar experimentos, as decisões ficam mais lentas e piores ao longo do tempo, não mais rápidas e melhores.

• Mais a perder: Um redesign com cinco clientes é divertido. Um redesign com cinco mil clientes é projeto com partes interessadas. Sem contrato, o projeto vira negociação; com contrato, segue sendo pergunta.
• Mais opiniões para coordenar: Vendas tem uma visão, marketing tem outra, produto tem outra. O contrato é a única forma de dar a essas visões algo para discordar sem desperdiçar um trimestre.
• Mais ruído para ler: Os números se mexem sozinhos em escala. Você vai ver oscilações que não têm nada a ver com o que mudou. O limite definido antes é o que te protege de ler significado em ruído.

// 06Para onde ir agora

Você tem os pré-requisitos. O resto dos recursos no Xi assume que você sabe o que é um experimento, por que o contrato do experimento importa e por que rodar de propósito ganha de chutar. Vale dar dois próximos passos, em qualquer ordem.

• O guia de marketing digital: Dez lições profundas sobre canais, analítica, psicologia do comprador, SEO, email, mídia paga, redes sociais, entrada no mercado, otimização de conversão e o trabalho de marketing que gerentes de produto precisam entender. Cada uma termina com um ou dois experimentos que você pode rodar hoje.
• Seu primeiro experimento no Xi: O produto é construído em volta do contrato: hipótese, métrica, limites de sucesso e descarte, data de fim. Pegar uma única mudança que você vinha considerando e se comprometer com ela como experimento real é a forma mais rápida de sentir a diferença entre testar e tentar.

// 07Cinco coisas para levar adiante

• 01: Opiniões são baratas. O time que cresce é o que sabe distinguir quais das próprias opiniões estão certas.
• 02: Um experimento é um contrato escrito de quatro partes: uma hipótese, uma métrica, limites de sucesso e descarte, uma data de fim. Definido antes de qualquer mudança.
• 03: O contrato é o experimento, não a mudança. A mudança é a aposta. O contrato é o que transforma a aposta em evidência.
• 04: Testar e tentar parecem iguais por duas semanas e diferentes para sempre depois. A diferença é se o time tem o hábito de escrever o que espera.
• 05: Começa pequeno e começa agora. Quanto mais cedo o hábito se forma, mais ele se acumula. Toda decisão posterior na sua carreira fica mais fácil quanto mais tempo você roda experimentos reais.

Esse é o pré-requisito. Tudo daqui é o trabalho de verdade: escolher um canal, escrever o texto, rodar a campanha, ler o resultado, decidir o próximo passo. Feito com disciplina, o trabalho é honesto, lento e quase constrangedoramente efetivo. Feito sem, é uma esteira em qualquer tamanho de empresa. Os dois próximos passos no quadro abaixo retomam exatamente onde isso para.