Por qué experimentar es la única forma honesta de crecer

Las opiniones son baratas. La evidencia es escasa. La diferencia entre un equipo que crece y uno que solo se mueve es si pueden distinguir cuál de sus opiniones es correcta. La experimentación es la disciplina que convierte el "yo creo" en "nosotros testeamos". Es el hábito más importante que puede construir una empresa chica, y el que, una vez que lo tienes, hace que todo lo anterior en esta serie se sienta como un calentamiento.

Esta es la última lección de la serie de prerrequisitos. Lo que sigue es la guía de marketing digital, donde están los canales, la analítica y las formas prácticas de operar. Todo lo de ahí adentro asume que entiendes qué es un experimento y por qué te tomarías la molestia de correr uno. Esta lección es el puente.

// 01Por qué falla crecer a base de opiniones

Es fácil verlo en retrospectiva. Cada equipo que perdió un año a una mala apuesta hizo las mismas tres cosas, más o menos en el mismo orden.

• Una persona segura hizo una afirmación segura: A veces una persona fundadora, a veces alguien recién contratado, a veces un consultor. La afirmación era suficientemente concreta para actuar, pero no tanto como para comprobarla.
• El equipo ejecutó la afirmación: Construyeron la funcionalidad, lanzaron la campaña, contrataron a la persona para el puesto. Nadie escribió cómo se verían el éxito o el fracaso, porque nadie lo preguntó.
• El resultado fue ambiguo: Algunos números subieron, otros bajaron, otros quedaron iguales. La afirmación original ahora se interpretó para encajar con lo que pasó. Nadie aprendió nada. La siguiente afirmación segura recibió el mismo trato.

// 02Qué es realmente un experimento

Un experimento es un acuerdo escrito contigo mismo, antes de hacer nada, sobre qué esperas que pase y cómo sabrás si te equivocaste. Tiene cuatro partes. Juntas a veces se las llama el contrato del experimento.

• Una hipótesis: Una afirmación sobre causa y efecto, en lenguaje claro. "Si cambiamos el bloque principal de la página de inicio de un mensaje centrado en funciones a uno centrado en resultados, los registros de pago subirán de 2.4% a más de 3.0% en cuatro semanas."
• Una métrica: El único número que te dirá si la hipótesis fue correcta. Una métrica, no cinco. Los experimentos más fáciles de leer son los que tienen menos partes en movimiento.
• Un umbral de éxito y un umbral de descarte: Los valores de la métrica que significan "publica el cambio" y "detente ahora". Fijados antes, antes de que cualquier resultado sea visible.
• Una fecha de cierre: Un día específico en el calendario. Sin él, los experimentos derivan; el equipo sigue mirando moverse números y nunca decide nada.

Cada uno de esos es poco notable por sí solo. Juntos son la diferencia entre correr un experimento y estar ocupado. Un equipo que escribe esto antes de actuar y lo vuelve a leer cuando llegan los resultados, toma mejores decisiones que uno que no, sin importar qué tan inteligente sea cualquiera de los dos equipos.

// 03El contrato es todo el punto

Es tentador pensar que el experimento es el cambio que hiciste: la nueva página de inicio, la nueva creatividad de anuncio, la nueva página de precios. El cambio no es el experimento. El contrato es el experimento. El cambio es la apuesta que estás haciendo.

• Fuerza honestidad desde el principio: Cuando tienes que comprometerte a un umbral de descarte antes de que existan datos, te vas a agarrar in fraganti en cualquier optimismo inconsciente. La mayoría de los equipos descubre que su hipótesis era más vaga de lo que pensaban en cuanto intentan escribir el umbral.
• Saca la política del veredicto: La decisión de publicar o descartar no es una reunión. Es una comparación entre un número y un valor que escribiste hace dos semanas. La gente puede no estar de acuerdo sobre estrategia; no puede discutir con la aritmética.
• Acumula aprendizaje: Un equipo que corrió treinta experimentos sabe cosas que uno corriendo el primero no puede saber, por más brillante que sea. El contrato es lo que convierte el aprendizaje en algo reutilizable.

// 04La diferencia entre testear y probar

La mayoría de los equipos se describen como "testeando cosas". En la práctica, casi todo lo que hacen es probar cosas. Las dos se ven idénticas desde afuera y se sienten idénticas las primeras semanas. La diferencia aparece después.

• Probar produce movimiento: Cambias algo, miras los paneles de métricas, formas una opinión, cambias otra cosa. La actividad es alta. El aprendizaje por unidad de actividad es bajo. Después de un año vuelven los mismos argumentos; nada quedó zanjado.
• Testear produce evidencia: Escribes lo que esperas, corres el cambio, lees el resultado contra lo que dijiste antes y tomas una decisión limpia. Después de un año se acumuló una lista de preguntas resueltas. Cada nuevo experimento puede pararse sobre los anteriores.

La barra para poder llamar a algo un test es baja: escribe las cuatro partes del contrato antes de empezar. La barra también es sorprendentemente difícil de cruzar, porque te exige ser específico sobre algo que preferirías mantener flexible.

// 05Por qué la experimentación se vuelve más difícil, no más fácil, a medida que creces

Vale saber esto con anticipación porque es contraintuitivo. Una vez que una empresa tiene ingresos, clientes y una marca, el costo de cambiar cosas sube. La cantidad de gente con opiniones también sube. Sin un hábito de correr experimentos, las decisiones se vuelven más lentas y peores con el tiempo, no más rápidas y mejores.

• Más para perder: Un rediseño con cinco clientes es divertido. Un rediseño con cinco mil clientes es un proyecto con partes interesadas. Sin contrato el proyecto se vuelve una negociación; con contrato sigue siendo una pregunta.
• Más opiniones para coordinar: Ventas tiene una mirada, marketing tiene otra y producto otra más. El contrato es la única manera de darles algo sobre lo que disentir sin desperdiciar un trimestre.
• Más ruido para leer: Los números se mueven solos a escala. Vas a ver oscilaciones que no tienen nada que ver con lo que cambiaste. El umbral fijado de antemano es lo que te protege de leerle significado al ruido.

// 06A dónde ir después

Tienes los prerrequisitos. El resto de los recursos en Xi asume que sabes qué es un experimento, por qué importa el contrato del experimento y por qué correrlos a propósito gana a adivinar. Vale la pena dar dos próximos pasos, en cualquier orden.

• La guía de marketing digital: Diez lecciones profundas sobre canales, analítica, psicología del comprador, SEO, email, anuncios pagos, redes sociales, salida al mercado, optimización de conversión y el trabajo de marketing que necesitan quienes lideran producto. Cada una termina con uno o dos experimentos que puedes lanzar hoy.
• Tu primer experimento en Xi: El producto está construido alrededor del contrato: hipótesis, métrica, umbrales de éxito y descarte, fecha de cierre. Elegir un solo cambio que estuviste considerando y comprometerte a tratarlo como experimento real es la forma más rápida de sentir la diferencia entre testear y probar.

// 07Cinco cosas para llevarte

• 01: Las opiniones son baratas. El equipo que crece es el que sabe cómo distinguir cuáles de sus opiniones son correctas.
• 02: Un experimento es un contrato escrito de cuatro partes: una hipótesis, una métrica, umbrales de éxito y descarte, y una fecha de cierre. Fijado antes de cualquier cambio.
• 03: El contrato es el experimento, no el cambio. El cambio es la apuesta. El contrato es lo que convierte la apuesta en evidencia.
• 04: Testear y probar se ven iguales por dos semanas y distintos para siempre después. La diferencia es si el equipo tiene el hábito de escribir lo que espera.
• 05: Empieza chico y empieza ahora. Cuanto antes se forma el hábito, más se acumula. Cada decisión posterior en tu carrera se vuelve más fácil cuanto más tiempo llevas corriendo experimentos reales.

Ese es el prerrequisito. Todo de aquí en adelante es el trabajo real: elegir un canal, escribir el texto, correr la campaña, leer el resultado, decidir qué hacer después. Hecho con disciplina, el trabajo es honesto, lento y casi vergonzosamente efectivo. Hecho sin ella, es una cinta de correr a cualquier tamaño de empresa. Los dos próximos pasos en el cuadro de abajo retoman exactamente donde esto deja.