← Словарь
// КОНТРАКТ

Порог остановки

Значение метрики, при котором эксперимент заканчивается раньше срока. Задаётся заранее, чтобы не торговаться с собой, когда придут цифры.

// что это

Порог остановки фиксируется в контракте до старта эксперимента. Если метрика опускается ниже него (для метрик «выше — лучше») или поднимается выше (для метрик «ниже — лучше»), эксперимент заканчивается, а вердикт — остановить.

Порог остановки — это не надежда. Это предварительная договорённость. Его задача — сделать решение автоматическим, когда данные плохи, чтобы команда не тратила квартал на споры, продолжать ли.

// пример

Пример в работе

// ПРИМЕР

В тесте платного канала, где метрика — смешанный CAC, порог остановки может быть $210 против контроля $185. Если CAC посреди теста переходит $210, эксперимент останавливается и расход откатывается.

// связано

Связанные термины

Порог успехаЗначение метрики, выше которого эксперимент принимается. Задаётся заранее рядом с порогом остановки, чтобы вердикт решали правила, а не комната.Контракт экспериментаДоговорённость, написанная до запуска эксперимента: что тестируется, как это будет измеряться, что остановит эксперимент и когда он закончится.ВердиктИсход эксперимента после даты окончания или достижения порога. Три варианта: принять, остановить или пересмотреть.

Выбери гипотезу. Со словарём разобрался.

Самый быстрый способ освоить эту лексику — зафиксировать один эксперимент. Контракт пишется минут за пять.

Запусти первый экспериментПолистай практические гайды