// Fundamentos
Uma decisão de marketing rodada como teste, com hipótese, métrica para mover, limite de corte para encerrar cedo e data final para fechar no prazo.
Um experimento de marketing é uma unidade de trabalho com um contrato claro. Em vez de "vamos testar e ver", você escreve o que está testando, o que vai medir, o que faria parar e quando vai decidir.
É mais amplo que um teste A/B. Um teste A/B é um experimento de marketing em uma única página. Mudança de preço, reescrita de prospecção ativa, troca de canal pago e passo de integração inicial também são experimentos de marketing. A forma é a mesma: hipótese, métrica, limites, datas, veredito.
// EXEMPLOSe cortarmos o cold DM do LinkedIn de três parágrafos para uma linha, a taxa de resposta vai subir de 7% para 15% ou mais em 40 envios.
Ler em detalhe →Um sistema que captura cada decisão de marketing como experimento com contrato e veredito, e guarda o resultado para que a próxima decisão construa em cima da anterior.
Um sistema de experimentação é o sistema operacional ao redor dos experimentos de marketing: o lugar onde contratos são registrados, métricas são acompanhadas contra limites, vereditos são decididos e o arquivo se acumula.
A categoria existe porque a maioria dos times de marketing já roda experimentos, mas como casos isolados. Um sistema de experimentação faz o trabalho acumular aprendizado: cada teste termina em veredito, cada veredito é guardado e o arquivo vira a base de aprendizado do time.
Ler em detalhe →A prática de rodar decisões de marketing como experimentos em vez de opiniões. A disciplina de testar, medir e decidir se cada ideia deve ser adotada ou descartada.
A experimentação de marketing é a prática. O sistema de experimentação é o sistema que a sustenta. O experimento de marketing é a unidade de trabalho.
Um time pratica experimentação de marketing quando toda ideia não trivial passa pelo contrato: hipótese, métrica, thresholds, datas, veredito. O oposto da experimentação de marketing é o marketing por opinião, que é o que a maioria dos times faz por padrão.
Ler em detalhe →// O contrato
O acordo, escrito antes do experimento rodar, que diz o que está sendo testado, como será medido, o que interrompe e quando termina.
Um contrato de experimento tem quatro partes: uma hipótese, uma métrica, um limite de corte, um limite de sucesso e uma data final. Quando o experimento começa, o contrato não muda.
O contrato é o que para a deriva. Sem ele, o time reescreve os critérios de sucesso conforme os dados chegam. Com ele, as regras decidem o veredito, não a sala.
Ler em detalhe →Uma declaração clara da mudança que você vai fazer, do que espera mover e do tamanho de melhora que consideraria suficiente, escrita antes do experimento começar.
Uma hipótese de marketing útil tem três partes: a mudança ("se cortarmos o cold DM para uma linha"), o efeito previsto ("taxa de resposta sobe de 7% para 15% ou mais") e a janela de tempo ou volume ("em 40 envios"). Cada parte é testável.
Hipóteses escritas sem as três partes viram puro achismo. "Talvez conteúdo funcione" não é hipótese. "Se publicarmos dois posts longos por semana por um trimestre, cadastros orgânicos sobem de 50 para 120 por mês" é.
// EXEMPLOSe a página de destino abre com uma promessa clara em vez de cinco funcionalidades, a taxa de cadastro vai subir de 10% para 12% ou mais em 1.000 visitas.
Ler em detalhe →O valor de métrica que termina um experimento cedo. Você fixa antes para não negociar com você mesmo quando os números chegam.
O limite de corte é definido no contrato antes do experimento rodar. Se a métrica cai abaixo dele (para métricas em que maior é melhor) ou sobe acima dele (para métricas em que menor é melhor), o experimento termina e o veredito é descartar.
O limite de corte não é esperança. É um compromisso prévio. O trabalho dele é tornar a decisão automática quando os dados estão ruins, para o time não passar um trimestre discutindo se continua.
// EXEMPLOEm um teste de canal pago em que o CAC combinado é a métrica, o limite de corte pode ser $210 contra um controle de $185. Se o CAC passar de $210 no meio do caminho, o experimento é interrompido e o gasto volta atrás.
Ler em detalhe →O valor da métrica acima do qual o experimento é adotado. Definido antes, junto do limite de corte, para o veredito ser decidido pelas regras e não pela sala.
Um limite de sucesso é o inverso do limite de corte. É o valor que a métrica precisa atingir ou superar, dependendo da direção, até a data final para o veredito ser adotar.
Definir os dois limites no contrato torna o veredito automático. Bate o limite de sucesso: adotar. Bate o limite de corte: descartar. Fica entre os dois: revisar com o que aprendeu.
Ler em detalhe →A mudança mensurável mínima com a qual você se compromete antes do experimento começar. O número abaixo do qual um resultado não é interessante.
O piso da hipótese é o menor movimento na métrica que justifica o custo de rodar o experimento. É uma versão mais rígida do limite de sucesso: em vez de "a linha acima da qual adotamos", é "a linha abaixo da qual não aprendemos nada novo".
Definir um piso da hipótese antes evita o erro mais comum em marketing: adotar uma melhoria de 1,2% que tomou seis semanas de trabalho e chamar de vitória.
Ler em detalhe →// Resultados
O resultado de um experimento depois da data final ou de bater um limite. Três opções: adotar, descartar ou revisar.
Um veredito não é opinião. É o resultado definido pelo contrato. Adotar se o limite de sucesso foi atingido. Descartar se o limite de corte foi batido, ou se a data final chegou sem passar o limite de sucesso. Revisar se os dados são ambíguos e o contrato não previu o caso.
O veredito é o que faz o experimento virar aprendizado acumulado. Cada veredito, seja adotar ou descartar, vira uma linha no arquivo sobre a qual o próximo experimento pode construir.
Ler em detalhe →O registro de cada experimento que um time rodou, com o contrato, o movimento da métrica e o veredito. A memória acumulada de um time guiado por experimentos.
O arquivo de experimentos é o resultado de longo prazo de tratar marketing como experimentos. Cada entrada combina contrato, veredito e evidência. Vitórias são reutilizáveis. Falhas também.
Um time sem arquivo roda o mesmo experimento duas vezes a cada dezoito meses. Um time com arquivo pergunta "já testamos isso?" antes de rodar o próximo, e então pula ou desenha uma versão mais precisa.
Ler em detalhe →