Поправки Холма и Бенджамини — Хохберга для A/B

Практическое назначение расчёта

Исходная задача: Сравнивает несколько альтернатив с общим контролем, вычисляет исправленные p-значения и число обнаруженных различий по двум методам. В частности, данные из поля «Успехи в контроле» определяют наблюдаемую совокупность или параметры вероятностного механизма; перед вычислением нужно решить, соответствуют ли они реальной задаче.

Вторая величина формы — «Участники контроля», в примере равна 1000. При самостоятельной проверке полезно изменять её отдельно: так легче оценить, насколько устойчив итог «Эффект выбранного варианта» и не теряются ли существенные детали.

Числовые результаты дополняют друг друга. На представленном наборе «p выбранного варианта» составляет 0.00273025, а «Исправленное p Холма» — 0.00819076. Такая пара показателей часто помогает обнаружить несоответствие исходных предпосылок ещё до принятия решения.

Что означают и как связаны поля формы

Всего в форме предусмотрено 6 независимых входных параметров. Например, «Успехи в контроле» = 80, а «Участники контроля» = 1000. Эти поля имеют разный смысл и используются на соответствующих этапах вычислительного алгоритма.

Поле «Успехи в вариантах» со значением 100 118 85 130 задаёт ещё одно условие. Его нельзя опускать только потому, что для какого-то конкретного набора данных округлённый первый показатель меняется слабо или остаётся тем же.

Для данного расчёта перечень вводимых величин выглядит так: Успехи в контроле = 80; Участники контроля = 1000; Успехи в вариантах = 100 118 85 130; Участники по вариантам = 1000 980 1000 1020; Порог семейной ошибки = 0.05; Номер интересующей альтернативы = 2. Списки вводятся в согласованном порядке, и каждое значение должно принадлежать своей строке или категории.

Как устроена статистическая модель

Основное соотношение записывается как p_adj,Holm=max_{j≤i}((K−j+1)p_(j)). Оно объединяет введённые величины в одну статистическую конструкцию, а не просто возвращает произведение или сумму первого и второго поля.

Для исходных значений «Эффект выбранного варианта» = 0.0404082. Связанный показатель «p выбранного варианта» = 0.00273025. Если эти результаты противоречат ожиданиям, прежде всего проверьте единицы, знаки исходных значений и выбранную схему расчёта.

Для расчёта второго контрольного примера изменяется именно «Успехи в контроле». Получаем «Эффект выбранного варианта» = 0.0204082. Это демонстрирует зависимость ответа от данных, а не от подписи формы.

Ограничения и интерпретация ответа

Ключевое ограничение метода: Порог и число проверок задаются заранее, повторное заглядывание в результаты меняет риск ошибки. Даже если численные проверки пройдены, оно остаётся существенным при переносе результатов на другую совокупность или период наблюдения. В данном расчёте «Успехи в контроле» = 80, а «Участники контроля» = 1000; эти исходные условия определяют интерпретацию показателей метода «Поправки Холма и Бенджамини — Хохберга для A/B».

Чтобы не принять случайную особенность выборки за устойчивую закономерность, сопоставьте «Исправленное p Холма» = 0.00819076 с исходной шкалой измерения. Различие параметров может привести к существенному изменению решения, но причина всегда требует содержательной проверки.

В третьем контрольном наборе меняется «Участники контроля»; при этом «Эффект выбранного варианта» = 0.0564082. При большом расхождении с основным примером стоит проверить выбросы, пропуски, зависимости и предельные условия.

Формула расчёта

Проверенные примеры

Как пользоваться онлайн-калькулятором

1. Введите наблюдения и параметры исходной задачи.
2. Убедитесь, что масштаб данных, размеры групп и вероятности допустимы.
3. Сравните итоговые показатели и учитывайте ограничения модели.