Почему эксперимент — единственный честный способ расти

Мнения дёшевы. Доказательства редки. Разница между командой, которая растёт, и командой, которая просто шевелится, в том, могут ли они отличить, какое из их мнений верное. Эксперимент — это дисциплина, превращающая «я думаю» в «мы протестировали». Это самая важная привычка, которую может построить маленькая компания, и та, что после освоения превращает всё прежнее в этой серии в разогрев.

Это последний урок в серии базовых материалов. Дальше — руководство по цифровому маркетингу, где собраны каналы, аналитика и практические способы работы. Всё там предполагает, что ты понимаешь, что такое эксперимент и зачем стоит его запускать. Этот урок — мост.

// 01Почему рост на одних мнениях проваливается

В ретроспективе легко увидеть. Каждая команда, потерявшая год на плохую ставку, делала одни и те же три вещи примерно в одном порядке.

• Уверенный человек сделал уверенное утверждение: Иногда основатель, иногда новый сотрудник, иногда консультант. Утверждение было достаточно конкретным, чтобы по нему действовать, но недостаточно конкретным, чтобы его проверить.
• Команда исполнила утверждение: Они сделали функцию, запустили кампанию, наняли человека на нужную роль. Никто не записал, как будут выглядеть успех или провал, потому что никто не спросил.
• Результат был неоднозначным: Какие-то цифры выросли, какие-то упали, какие-то остались такими же. Изначальное утверждение интерпретировали так, чтобы оно подошло к произошедшему. Никто ничему не научился. Следующее уверенное утверждение получило то же отношение.

// 02Что такое эксперимент на самом деле

Эксперимент — это письменное соглашение с самим собой, до начала любых действий, о том, чего ты ожидаешь и как поймёшь, что ошибся. У него четыре части. Вместе их иногда называют контракт эксперимента.

• Гипотеза: Утверждение о причине и следствии простым языком. «Если поменять первый экран главной страницы с описания функций на описание результата, платные регистрации вырастут с 2,4% до более 3,0% за четыре недели».
• Метрика: Единственное число, которое скажет тебе, права ли гипотеза. Одна метрика, не пять. Самые легко читаемые эксперименты — те, у которых меньше всего движущихся частей.
• Порог успеха и порог остановки: Значения метрики, которые означают «публикуем изменение» и «останавливаемся сейчас». Заданы заранее, до того как видны какие-либо результаты.
• Дата окончания: Конкретный день в календаре. Без неё эксперименты дрейфуют; команда продолжает смотреть, как двигаются числа, и ничего не решает.

Каждый из них по отдельности неприметен. Вместе они — разница между запуском эксперимента и просто занятостью. Команда, которая записывает это до действий и перечитывает, когда приходят результаты, принимает решения лучше, чем команда, которая нет, независимо от того, насколько умна любая из них.

// 03Контракт — в этом весь смысл

Соблазнительно думать, что эксперимент — это сделанное изменение: новая главная, новый рекламный креатив, новая страница цен. Изменение — не эксперимент. Контракт — эксперимент. Изменение — это ставка, которую ты делаешь.

• Заставляет быть честным с самого начала: Когда нужно зафиксировать порог остановки до того, как появились данные, ты поймаешь себя на любом неосознанном принятии желаемого за действительное. Большинство команд обнаруживает, что их гипотеза была более расплывчатой, чем они думали, как только пробуют записать порог.
• Убирает политику из вердикта: Решение опубликовать или остановить — не совещание. Это сравнение между числом и значением, записанным две недели назад. Люди могут расходиться по стратегии; они не могут спорить с арифметикой.
• Накопляет обучение: Команда, прогнавшая тридцать экспериментов, знает то, что команда, запускающая первый, знать не может, как бы умна она ни была. Контракт превращает обучение в то, что можно использовать снова.

// 04Разница между тестированием и пробованием

Большинство команд описывают себя как «тестирующих вещи». На практике почти всё, что они делают — пробуют вещи. Снаружи две выглядят одинаково и первые недели ощущаются одинаково. Разница появляется позже.

• Пробование производит движение: Меняешь что-то, смотришь панели с метриками, формируешь мнение, меняешь что-то ещё. Активность высокая. Обучение на единицу активности низкое. Через год возвращаются те же аргументы; ничего не решено.
• Тестирование производит доказательства: Записываешь, чего ожидаешь, прогоняешь изменение, читаешь результат против того, что сказал заранее, и принимаешь чистое решение. Через год накопился список решённых вопросов. Каждый новый эксперимент может опираться на предыдущие.

Планка, чтобы что-то можно было назвать тестом, низкая: запиши четыре части контракта до начала. Планка же удивительно трудна, потому что требует быть конкретным про то, что ты бы предпочёл оставить гибким.

// 05Почему эксперименты становятся не легче, а труднее по мере роста

Стоит знать заранее, потому что это контринтуитивно. Когда у компании уже есть выручка, клиенты и бренд, цена изменений растёт. Количество людей с мнениями тоже растёт. Без привычки к экспериментам решения со временем становятся медленнее и хуже, не быстрее и лучше.

• Больше что терять: Редизайн при пяти клиентах — это весело. Редизайн при пяти тысячах клиентов — это проект с заинтересованными сторонами. Без контракта проект превращается в переговоры; с контрактом остаётся вопросом.
• Больше мнений координировать: У продаж есть один взгляд, у маркетинга другой, у продукта третий. Контракт — единственный способ дать этим взглядам предмет для несогласия, который не сожрёт квартал.
• Больше шума читать: На масштабе цифры движутся сами. Ты будешь видеть колебания, никак не связанные с тем, что менял. Заранее заданный порог защищает тебя от попыток найти смысл в шуме.

// 06Куда идти дальше

У тебя есть основа. Остальные ресурсы Xi предполагают, что ты знаешь, что такое эксперимент, почему важен контракт эксперимента и почему запускать их намеренно выигрывает у угадывания. Стоит сделать два следующих шага в любом порядке.

• Руководство по цифровому маркетингу: Десять глубоких уроков по каналам, аналитике, психологии покупателя, SEO, email-маркетингу, платной рекламе, соцсетям, выводу продукта на рынок, оптимизации конверсии и маркетингу, который нужен продуктовым командам. Каждый заканчивается одним-двумя экспериментами, которые можно запустить сегодня.
• Твой первый эксперимент в Xi: Продукт построен вокруг контракта: гипотеза, метрика, пороги успеха и остановки, дата окончания. Выбрать одно изменение, которое ты обдумывал, и зафиксировать его как настоящий эксперимент — самый быстрый способ почувствовать разницу между тестированием и пробованием.

// 07Пять вещей на вынос

• 01: Мнения дёшевы. Команда, которая растёт, — это команда, которая знает, как отличить, какие из её мнений верны.
• 02: Эксперимент — это письменный контракт из четырёх частей: гипотеза, метрика, пороги успеха и остановки, дата окончания. Зафиксированы до любого изменения.
• 03: Контракт — это эксперимент, не изменение. Изменение — это ставка. Контракт — то, что превращает ставку в доказательство.
• 04: Тестирование и пробование выглядят одинаково две недели и навсегда по-разному после. Разница в том, есть ли у команды привычка записывать, чего она ожидает.
• 05: Начинай с малого и начинай сейчас. Чем раньше формируется привычка, тем сильнее она накапливает эффект. Любое более позднее решение в твоей карьере становится легче, чем дольше ты ведёшь настоящие эксперименты.

Это база. Всё дальше — настоящая работа: выбрать канал, написать текст, запустить кампанию, прочитать результат, решить, что делать дальше. Сделанная с дисциплиной, работа честная, медленная и почти неловко эффективная. Без неё это беговая дорожка при любом размере компании. Два следующих шага в боксе ниже подхватывают ровно с того места, где это заканчивается.