// Fundamentos
Una decisión de marketing ejecutada como prueba, con una hipótesis, una métrica que mover, un umbral de corte para terminarla antes de tiempo y una fecha de cierre.
Un experimento de marketing es una unidad de trabajo con un contrato claro. En vez de "probemos esto y veamos", escribes qué estás probando, qué vas a medir, qué haría que lo detuvieras y cuándo decidirás.
Es más amplio que una prueba A/B. Una prueba A/B es un experimento de marketing sobre una sola página. Un cambio de precios, una reescritura de prospección, un cambio de canal de pago y un paso de incorporación también son experimentos de marketing. La forma se mantiene: hipótesis, métrica, umbrales, fechas, veredicto.
// EJEMPLOSi recortamos el cold DM de LinkedIn de tres párrafos a una línea, la tasa de respuesta subirá de 7% a 15% o más en 40 envíos.
Leer en detalle →Un sistema que captura cada decisión de marketing como un experimento con un contrato y un veredicto, y guarda el resultado para que la siguiente decisión componga sobre la anterior.
Un sistema de experimentación es el sistema operativo alrededor de los experimentos de marketing: el lugar donde se registran los contratos, se siguen las métricas contra sus umbrales, se deciden los veredictos y se acumula el archivo.
La categoría existe porque la mayoría de los equipos de marketing ya hace experimentos, pero como casos sueltos. Un sistema de experimentación hace que el trabajo se acumule: cada prueba termina en un veredicto, cada veredicto se guarda y el archivo se vuelve la base de aprendizaje del equipo.
Leer en detalle →La práctica de ejecutar decisiones de marketing como experimentos en vez de tratarlas como opiniones. La disciplina de probar, medir y decidir si una idea se adopta o se descarta.
La experimentación de marketing es la práctica. El sistema de experimentación es el sistema que la soporta. El experimento de marketing es la unidad de trabajo.
Un equipo practica experimentación de marketing cuando cada idea no trivial pasa por el contrato: hipótesis, métrica, umbrales, fechas, veredicto. Lo opuesto a la experimentación de marketing es el marketing por opinión, que es lo que la mayoría de los equipos hace por defecto.
Leer en detalle →// El contrato
El acuerdo, escrito antes de iniciar el experimento, que dice qué se está probando, cómo se medirá, qué lo detiene y cuándo termina.
Un contrato de experimento tiene cuatro partes: una hipótesis, una métrica, un umbral de corte, un umbral de éxito y una fecha de cierre. Una vez que el experimento arranca, el contrato no cambia.
El contrato es lo que detiene la deriva. Sin él, el equipo reescribe los criterios de éxito a medida que llega la data. Con él, las reglas deciden el veredicto, no la sala.
Leer en detalle →Una declaración clara del cambio que harás, qué esperas mover y qué tamaño de mejora considerarías suficiente, escrita antes de que el experimento arranque.
Una hipótesis de marketing útil tiene tres partes: el cambio ("si recortamos el cold DM a una línea"), el efecto predicho ("la tasa de respuesta sube de 7% a 15% o más") y la ventana de tiempo o volumen ("en 40 envíos"). Cada parte es testeable.
Las hipótesis escritas sin las tres partes colapsan en vibras. "Tal vez el contenido funcione" no es una hipótesis. "Si publicamos dos posts largos por semana durante un trimestre, los registros orgánicos subirán de 50 a 120 al mes" sí lo es.
// EJEMPLOSi la página de destino abre con una promesa clara en vez de cinco funcionalidades, la tasa de registro subirá de 10% a 12% o más en 1.000 visitas.
Leer en detalle →El valor de métrica que termina un experimento temprano. Lo fijas de entrada para no negociar contigo mismo cuando lleguen los números.
El umbral de corte se fija en el contrato antes de que el experimento corra. Si la métrica cae por debajo de él (para métricas donde más es mejor) o sube por encima (para métricas donde menos es mejor), el experimento termina y el veredicto es descartar.
El umbral de corte no es una esperanza. Es un compromiso previo. Su trabajo es hacer automática la decisión cuando los datos van mal, para que el equipo no pase un trimestre discutiendo si seguir.
// EJEMPLOPara una prueba de canal de pago donde el CAC combinado es la métrica, el umbral de corte podría ser $210 frente a un control de $185. Si el CAC pasa de $210 a mitad del camino, el experimento se detiene y el gasto se revierte.
Leer en detalle →El valor de la métrica por encima del cual el experimento se adopta. Se fija de entrada, junto al umbral de corte, para que el veredicto lo decidan las reglas y no la sala.
Un umbral de éxito es la inversa del umbral de corte. Es el valor que la métrica debe alcanzar o superar, según la dirección, antes de la fecha de cierre para que el veredicto sea adoptar.
Fijar ambos umbrales en el contrato vuelve automático el veredicto. Alcanza el umbral de éxito: adoptar. Toca el umbral de corte: descartar. Queda entre ambos: revisar con lo aprendido.
Leer en detalle →El cambio mínimo medible al que te comprometes antes de que el experimento arranque. El número por debajo del cual un resultado no es interesante.
El piso de hipótesis es el movimiento más pequeño en la métrica que justifica el costo de correr el experimento. Es una versión más estricta del umbral de éxito: en vez de "la línea sobre la cual adoptamos", es "la línea bajo la cual no aprendimos nada nuevo".
Fijar un piso de hipótesis de entrada previene el error más común del marketing: adoptar una mejora de 1,2% que tomó seis semanas de trabajo y llamarla victoria.
Leer en detalle →// Resultados
El resultado de un experimento después de la fecha de cierre o de tocar un umbral. Tres opciones: adoptar, descartar o revisar.
Un veredicto no es una opinión. Es lo que el contrato dice que es el resultado. Adoptar si se alcanzó el umbral de éxito. Descartar si se tocó el umbral de corte, o si llegó la fecha de cierre sin superar el umbral de éxito. Revisar si los datos son ambiguos y el contrato no anticipó el caso.
El veredicto es lo que hace que el experimento sume al aprendizaje. Cada veredicto, sea adoptar o descartar, se vuelve una fila del archivo sobre la que puede apoyarse el siguiente experimento.
Leer en detalle →El registro de cada experimento que un equipo ha corrido, con el contrato, el movimiento de la métrica y el veredicto. La memoria acumulada de un equipo guiado por experimentos.
El archivo de experimentos es el resultado de largo plazo de trabajar el marketing como experimentos. Cada entrada combina contrato, veredicto y evidencia. Las victorias se reutilizan. Los fracasos también.
Un equipo sin archivo corre el mismo experimento dos veces cada dieciocho meses. Un equipo con archivo pregunta "¿ya probamos esto?" antes de lanzar el siguiente, y entonces lo salta o diseña una versión más precisa.
Leer en detalle →