Umbral de corte
El valor de métrica que termina un experimento temprano. Lo fijas de entrada para no negociar contigo mismo cuando lleguen los números.
El umbral de corte se fija en el contrato antes de que el experimento corra. Si la métrica cae por debajo de él (para métricas donde más es mejor) o sube por encima (para métricas donde menos es mejor), el experimento termina y el veredicto es descartar.
El umbral de corte no es una esperanza. Es un compromiso previo. Su trabajo es hacer automática la decisión cuando los datos van mal, para que el equipo no pase un trimestre discutiendo si seguir.
Un ejemplo trabajado
Para una prueba de canal de pago donde el CAC combinado es la métrica, el umbral de corte podría ser $210 frente a un control de $185. Si el CAC pasa de $210 a mitad del camino, el experimento se detiene y el gasto se revierte.
Términos relacionados
Elige una hipótesis. Vocabulario hecho.
La forma más rápida de aprender este vocabulario es registrar un experimento. Escribir el contrato toma unos cinco minutos.