Тема отвечает на вопрос, как убедиться, что метрика сдвинулась из-за вашего изменения, а не из-за сезона, рассылки или удачной недели. Без этого бизнес-эффект в итогах квартала — совпадение, которое выдают за результат.
Ключевая мысль та же, что во всей методологии: решение не может быть доказано сильнее, чем доказательство под ним. Тест, остановленный на третий день, или победа на одной метрике из десяти — это слабое основание, сколько бы ни показывал дашборд. В методологии результаты экспериментов хранят как отдельный узел знания: что уже пробовали, что вышло и где оценка врала. Так команда не проверяет второй раз то, что уже проверяли.
Как читать материалы:
- Дизайн A/B эксперимента — начните здесь. Пять шагов проектирования теста: какой вопрос проверяем, какую метрику смотрим и что будет считаться ответом до запуска.
- Ошибки первого и второго рода в A/B тестировании — минимум математики для руководителя: что значит ложная победа и пропущенный эффект и как выбрать между ними баланс для своего продукта.
- Плохие A/B тесты — четыре ловушки, в которые попадают умные команды: подглядывание и ранняя остановка, перебор метрик до победного, эффект новизны и загрязнение выборки. В конце — шесть шагов, как делать правильно.
Возьмите из темы одно правило для своих команд: критерий успеха и длительность теста записываются до запуска. Как записанный результат превращается в доказательство эффекта квартала, описано в области «Эффект».
