Объяснение
Эксперимент сравнивает группы, назначенные до воздействия. Нельзя выбирать момент остановки только по удачному p-value. Практическая значимость эффекта отличается от статистической.
Задача для самостоятельного решения
Достаточен ли рост метрики на 0,01% для запуска дорогой функции?
Показать разбор ответа
Нет: оцените доверительный интервал, стоимость, побочные метрики и минимально полезный эффект. Значимый результат может быть экономически бесполезным.