Семейная значимость A/B/n по Холму

В какой задаче нужен этот расчёт

Сравнение нескольких вариантов с контрольной конверсией с поправкой Холма на семейную ошибку. На практике такой показатель используют, когда нужно описать конкретный набор данных, сравнить варианты или обосновать решение. Несколько вариантов используют общий контроль, поэтому обычный одиночный порог для каждого сравнения завышает риск хотя бы одного ложного открытия.

Поле «Конверсии контроля» отвечает за первую часть постановки. В исходном примере оно имеет значение 185. Это не обязательный норматив, а набор для проверки работы формулы и понимания формата.

Метрика, разделение потока и правило окончания эксперимента должны быть определены до запуска. По этой причине одно итоговое число нельзя переносить на другие исследования, в которых отличается способ измерений, состав участников или условия появления события. В данной задаче «Конверсии контроля» и «Номер варианта для вывода» связаны через p_i=2[1−Φ(|z_i|)], Holm по нескольким сравнениям; это важно именно для этого расчёта.

Что означают вводимые значения и настройки

Параметр «Посетители контроля» задаётся значением 1500. Вместе с «Конверсии контроля» он участвует в основной математической модели, а не служит декоративной настройкой формы.

Следующее поле — «Конверсии трёх вариантов», исходное значение 205 216 240. Его нужно изменять осмысленно: при новой постановке исследовательской задачи полезно оставить прочие условия сопоставимыми.

Вычислитель использует 6 параметров. В частности, «Номер варианта для вывода» влияет на расчёт, проверку ограничения или построение дополнительного показателя. Числа и списки требуют согласованных единиц и корректных границ.

Математическое соотношение и проверочный пример

Базовая формула записывается так: p_i=2[1−Φ(|z_i|)], Holm по нескольким сравнениям. Она описывает именно задачу «Семейная значимость A/B/n по Холму», поэтому другой статистический метод может дать другое число при тех же наблюдениях.

Для исходного примера вычисляется показатель «Конверсия контроля» = 0.12333333. Также получается «Разница долей выбранного варианта» = 0.02066667. Это разные характеристики, их не стоит смешивать.

Чтобы убедиться в чувствительности, во втором примере изменяется часть исходных параметров. Он даёт «Конверсия контроля» = 0.14866667. Сравнение удобно проводить с одинаковой точностью округления.

Как проверять выводы и не попасть в ловушку

Общие контрольные данные создают зависимость проверок, но метод Холма сохраняет контроль семейной ошибки. Если это условие нарушено, полученное число может выглядеть правдоподобно, но не иметь нужного статистического смысла. Особенно важно понимать источник данных.

Несколько вариантов используют общий контроль, поэтому обычный одиночный порог для каждого сравнения завышает риск хотя бы одного ложного открытия. При изменении «Номер варианта для вывода» посмотрите не только на главный итог, но и на диагностические величины и границы. Это помогает заметить изменение режима расчёта.

Метрика, разделение потока и правило окончания эксперимента должны быть определены до запуска. Не стоит использовать один автоматический показатель как доказательство качества исходных данных. Для ответственных решений полезны контрольные примеры и независимое повторение анализа. В данной задаче «Конверсии контроля» и «Номер варианта для вывода» связаны через p_i=2[1−Φ(|z_i|)], Holm по нескольким сравнениям; это важно именно для этого расчёта.

Формула расчёта

Проверенные примеры

Как пользоваться онлайн-калькулятором

1. Введите «Конверсии контроля» в нужном формате и проверьте единицы измерения.
2. Задайте «Посетители контроля» и «Конверсии трёх вариантов» в соответствии с вашей задачей.
3. Сравните несколько связанных показателей и используйте пример как контроль расчёта.