Формула и смысл результата
Пусть все нулевые гипотезы верны и проверки независимы. Тогда каждая проверка обходится без ложной значимости с вероятностью 1 − α, а вероятность того, что без ошибки обойдутся все m проверок, равна (1 − α)^m. Именно это число показывает калькулятор.
Для α = 0,05 и m = 20 получается 0,95^20 ≈ 0,358486. Хотя бы одна ложная значимость при этом возникает с вероятностью 1 − 0,358486 ≈ 0,641514, то есть примерно в двух случаях из трёх. Эту величину в литературе называют вероятностью семейной ошибки первого рода.
Как быстро растёт риск
Риск растёт быстрее, чем интуитивно ожидается. Для α = 0,05 три проверки дают шанс хотя бы одной ложной значимости около 14,3 %, десять проверок — около 40,1 %, двадцать — около 64,2 %. При ста независимых проверках шанс обойтись без ложного вывода практически равен нулю.
Поэтому нельзя выбирать из двадцати метрик ту, у которой p-value оказалось меньше 0,05, и преподносить её как открытие. Без поправки такой результат с высокой вероятностью оказывается случайным.
Поправка Бонферрони и другие способы
Простейший способ удержать общий риск — разделить уровень значимости на число проверок. При α = 0,05 и m = 20 каждая проверка идёт на уровне 0,0025. Если ввести в калькулятор 0,9975 и m = 20, получится около 0,951170, а риск хотя бы одного ложного вывода составит примерно 4,9 %.
Цена такой строгости — потеря чувствительности: настоящие, но небольшие эффекты чаще остаются незамеченными. Существуют менее консервативные методы, например Холма или контроль доли ложных открытий, но выбор между ними зависит от задачи и выходит за рамки этого расчёта.
Когда формула приближённа
Выражение (1 − α)^m точно лишь для независимых проверок. Если метрики сильно связаны, например выручка и число заказов, ложные срабатывания обычно приходятся на одни и те же выборки, и реальный риск, как правило, ниже расчётного. Насколько именно, зависит от структуры связи.
Кроме того, расчёт предполагает, что все нулевые гипотезы верны. Если среди проверяемых эффектов есть настоящие, число возможных ложных срабатываний уменьшается, и цифры калькулятора становятся верхней оценкой для независимого случая.
Как применять на практике
Заранее зафиксируйте число проверок и выделите одну главную метрику. Остальные считайте вспомогательными и оценивайте с поправкой. Это дешевле, чем потом объяснять, почему из сорока гипотез подтвердились две.
Если сравниваются k групп попарно, число проверок равно k(k − 1) / 2. Для пяти групп получается десять пар: при α = 0,05 вероятность не получить ложной значимости составляет 0,598737, поэтому без поправки сравнивать все пары на уровне 0,05 рискованно.
Формула расчёта
P(ни одной ложной значимости) = (1 − α)^m; P(хотя бы одна) = 1 − (1 − α)^m
Проверенные примеры
В A/B-тесте независимо проверяют 20 метрик на уровне значимости 0,05, а настоящих эффектов нет. Каков шанс не получить ни одной ложной значимости?
Вводим 0,95 и m = 20: 0,95^20 ≈ 0,358486. Значит, хотя бы одна ложная значимость появится с вероятностью 1 − 0,358486 = 0,641514, то есть примерно в 64 % случаев.
Для тех же 20 проверок уровень одной проверки снижают до α / m = 0,05 / 20 = 0,0025. Что получится?
Вводим 1 − 0,0025 = 0,9975 и m = 20: 0,9975^20 ≈ 0,951170. Риск хотя бы одного ложного вывода 1 − 0,951170 ≈ 0,048830, то есть около 4,9 %, почти как для единственной проверки на уровне 0,05.
Как пользоваться онлайн-калькулятором
- Определите уровень значимости α одной проверки и вычтите его из единицы: для 0,05 получится 0,95.
- Введите это число и количество независимых проверок m, затем нажмите «Рассчитать».
- Чтобы узнать риск хотя бы одной ложной значимости, вычтите результат из единицы.