// Основы
Маркетинговое решение, запущенное как тест: с гипотезой, метрикой, порогом остановки для раннего завершения и датой окончания.
Маркетинговый эксперимент — это рабочая единица с чётким контрактом. Вместо «давай попробуем и посмотрим» ты пишешь, что тестируешь, что измеряешь, что остановит эксперимент и когда примешь решение.
Это шире, чем A/B-тест. A/B-тест — это маркетинговый эксперимент, поверхность которого — одна страница. Изменение цены, переписывание аутрича, сдвиг платного канала, шаг онбординга — всё это маркетинговые эксперименты. Форма та же: гипотеза, метрика, пороги, даты, вердикт.
// ПРИМЕРЕсли сократить cold DM в LinkedIn с трёх абзацев до одной строки, отклик вырастет с 7% до 15% и выше за 40 отправок.
Читать подробнее →Система, которая фиксирует каждое маркетинговое решение как эксперимент с контрактом и вердиктом и хранит результат, чтобы следующее решение строилось на предыдущем.
Система экспериментов — это операционная система вокруг маркетинговых экспериментов: место, где фиксируются контракты, метрики отслеживаются по порогам, принимаются вердикты и накапливается архив.
Категория существует, потому что большинство маркетинговых команд уже делает эксперименты, но разрозненно. Система экспериментов превращает работу в накопленное знание: каждый тест заканчивается вердиктом, каждый вердикт сохраняется, и архив становится базой обучения команды.
Читать подробнее →Практика запускать маркетинговые решения как эксперименты, а не как мнения. Дисциплина проверять, измерять и решать, принять идею или остановить.
Маркетинговые эксперименты — это практика. Система экспериментов — система, которая её поддерживает. Маркетинговый эксперимент — единица работы.
Команда работает через маркетинговые эксперименты, когда любая нетривиальная идея проходит через контракт: гипотеза, метрика, пороги, даты, вердикт. Противоположность — маркетинг по мнению, куда большинство команд скатывается по умолчанию.
Читать подробнее →// Контракт
Договорённость, написанная до запуска эксперимента: что тестируется, как это будет измеряться, что остановит эксперимент и когда он закончится.
Контракт эксперимента состоит из четырёх частей: гипотеза, метрика, порог остановки, порог успеха и дата окончания. Когда эксперимент стартует, контракт не меняется.
Контракт — это то, что останавливает дрейф. Без него команда переписывает критерии успеха по мере поступления данных. С ним вердикт решают правила, а не комната.
Читать подробнее →Чёткая формулировка изменения, которое ты делаешь, того, что должно сдвинуться, и размера сдвига, который ты бы назвал победой. Пишется до старта эксперимента.
Полезная маркетинговая гипотеза состоит из трёх частей: изменение («если сократим cold DM до одной строки»), предсказанный эффект («отклик вырастет с 7% до 15% и выше») и окно по времени или объёму («за 40 отправок»). Каждая часть проверяема.
Гипотезы без всех трёх частей разваливаются в вайб. «Может, контент сработает» — не гипотеза. «Если квартал публиковать по два длинных поста в неделю, органические регистрации вырастут с 50 до 120 в месяц» — гипотеза.
// ПРИМЕРЕсли лендинг открывается одним ясным обещанием вместо пяти фич, регистрации вырастут с 10% до 12% и выше на 1 000 визитах.
Читать подробнее →Значение метрики, при котором эксперимент заканчивается раньше срока. Задаётся заранее, чтобы не торговаться с собой, когда придут цифры.
Порог остановки фиксируется в контракте до старта эксперимента. Если метрика опускается ниже него (для метрик «выше — лучше») или поднимается выше (для метрик «ниже — лучше»), эксперимент заканчивается, а вердикт — остановить.
Порог остановки — это не надежда. Это предварительная договорённость. Его задача — сделать решение автоматическим, когда данные плохи, чтобы команда не тратила квартал на споры, продолжать ли.
// ПРИМЕРВ тесте платного канала, где метрика — смешанный CAC, порог остановки может быть $210 против контроля $185. Если CAC посреди теста переходит $210, эксперимент останавливается и расход откатывается.
Читать подробнее →Значение метрики, выше которого эксперимент принимается. Задаётся заранее рядом с порогом остановки, чтобы вердикт решали правила, а не комната.
Порог успеха — обратная сторона порога остановки. Это значение, которое метрика должна достичь или превысить к дате окончания, чтобы вердикт стал принять.
Оба порога в контракте делают вердикт автоматическим. Достиг порога успеха — принять. Достиг порога остановки — остановить. Оказался между ними — пересмотреть с учётом того, что узнали.
Читать подробнее →Минимальное измеримое изменение, к которому ты привязываешься до старта эксперимента. Число, ниже которого результат неинтересен.
Нижняя граница гипотезы — это наименьшее движение метрики, которое оправдывает стоимость запуска эксперимента. Это более строгая версия порога успеха: не «линия, выше которой принимаем», а «линия, ниже которой не узнали ничего нового».
Задать нижнюю границу гипотезы заранее — защита от частой маркетинговой ошибки: принять улучшение в 1,2%, на которое ушло шесть недель, и назвать это победой.
Читать подробнее →// Выходы
Исход эксперимента после даты окончания или достижения порога. Три варианта: принять, остановить или пересмотреть.
Вердикт — это не мнение. Это результат, который задаёт контракт. Принять, если достигнут порог успеха. Остановить, если достигнут порог остановки или дата окончания пришла без прохождения порога успеха. Пересмотреть, если данные неоднозначны и контракт не предусмотрел этот случай.
Вердикт превращает эксперимент в накопленное знание. Каждый вердикт, принять или остановить, становится строкой в архиве, на которой может строиться следующий эксперимент.
Читать подробнее →Запись каждого эксперимента, который команда запускала, с контрактом, движением метрики и вердиктом. Накопленная память команды, которая работает через эксперименты.
Архив экспериментов — долгосрочный результат подхода, где маркетинг ведётся через эксперименты. Каждая запись объединяет контракт, вердикт и доказательства. Победы можно переиспользовать. Провалы тоже.
Команда без архива каждые восемнадцать месяцев снова гоняет один и тот же эксперимент. Команда с архивом сначала спрашивает «мы это уже тестировали?», а затем пропускает идею или проектирует более точную версию.
Читать подробнее →