Confirmation bias в данных: команда 6 месяцев «валидирует» то, во что уже верит

Конверсия нового онбординга — 34% против 29%. Все рады. PM объявляет: «Гипотеза подтверждена, катим на всех».

Через три недели retention-когорта: пользователи из нового онбординга уходят к третьей неделе на 22% быстрее. Метрику retention не смотрели. Не потому что забыли. Потому что не хотели видеть плохой результат до решения.

Данные и эксперименты не защищают от ошибок - они делают ошибки убедительнее

В разборе: → Метрика под гипотезу: почему критерий успеха выбирается после формулировки — и что это значит → Выборка победителей: NPS 62 у 8% аудитории, которые дошли до конца → Слабый сигнал как «позитивный тренд»: p=0.18 и три недели потерянного времени → Постфактум-нарратив: объяснить можно любой результат — это не аналитика, это сторителлинг → 7 операционных шагов: от pre-mortem до red team и независимого синтеза

👉 Читать подробнее на портале