Limite de corte
O valor de métrica que termina um experimento cedo. Você fixa antes para não negociar com você mesmo quando os números chegam.
O limite de corte é definido no contrato antes do experimento rodar. Se a métrica cai abaixo dele (para métricas em que maior é melhor) ou sobe acima dele (para métricas em que menor é melhor), o experimento termina e o veredito é descartar.
O limite de corte não é esperança. É um compromisso prévio. O trabalho dele é tornar a decisão automática quando os dados estão ruins, para o time não passar um trimestre discutindo se continua.
Um exemplo na prática
Em um teste de canal pago em que o CAC combinado é a métrica, o limite de corte pode ser $210 contra um controle de $185. Se o CAC passar de $210 no meio do caminho, o experimento é interrompido e o gasto volta atrás.
Termos relacionados
Pega uma hipótese. Vocabulário pronto.
O jeito mais rápido de aprender esse vocabulário é registrar um experimento. Escrever o contrato leva uns cinco minutos.