← Словарь
// КОНТРАКТ

Контракт эксперимента

Договорённость, написанная до запуска эксперимента: что тестируется, как это будет измеряться, что остановит эксперимент и когда он закончится.

// что это

Контракт эксперимента состоит из четырёх частей: гипотеза, метрика, порог остановки, порог успеха и дата окончания. Когда эксперимент стартует, контракт не меняется.

Контракт — это то, что останавливает дрейф. Без него команда переписывает критерии успеха по мере поступления данных. С ним вердикт решают правила, а не комната.

// связано

Связанные термины

Маркетинговая гипотезаЧёткая формулировка изменения, которое ты делаешь, того, что должно сдвинуться, и размера сдвига, который ты бы назвал победой. Пишется до старта эксперимента.Порог остановкиЗначение метрики, при котором эксперимент заканчивается раньше срока. Задаётся заранее, чтобы не торговаться с собой, когда придут цифры.Порог успехаЗначение метрики, выше которого эксперимент принимается. Задаётся заранее рядом с порогом остановки, чтобы вердикт решали правила, а не комната.Нижняя граница гипотезыМинимальное измеримое изменение, к которому ты привязываешься до старта эксперимента. Число, ниже которого результат неинтересен.ВердиктИсход эксперимента после даты окончания или достижения порога. Три варианта: принять, остановить или пересмотреть.

Выбери гипотезу. Со словарём разобрался.

Самый быстрый способ освоить эту лексику — зафиксировать один эксперимент. Контракт пишется минут за пять.

Запусти первый экспериментПолистай практические гайды