В какой задаче нужен этот расчёт
Оценка разницы конверсий и интервала с защитой от запланированных повторных проверок. На практике такой показатель используют, когда нужно описать конкретный набор данных, сравнить варианты или обосновать решение. Фиксированное число промежуточных просмотров должно быть известно до опыта. Поправка на эти просмотры снижает риск случайного раннего объявления победы.
Поле «Успехи контроля» отвечает за первую часть постановки. В исходном примере оно имеет значение 120. Это не обязательный норматив, а набор для проверки работы формулы и понимания формата.
Метрика, разделение потока и правило окончания эксперимента должны быть определены до запуска. По этой причине одно итоговое число нельзя переносить на другие исследования, в которых отличается способ измерений, состав участников или условия появления события.
Что означают вводимые значения и настройки
Параметр «Посетители контроля» задаётся значением 1000. Вместе с «Успехи контроля» он участвует в основной математической модели, а не служит декоративной настройкой формы.
Следующее поле — «Успехи варианта», исходное значение 153. Его нужно изменять осмысленно: при новой постановке исследовательской задачи полезно оставить прочие условия сопоставимыми.
Вычислитель использует 6 параметров. В частности, «Общая ошибка первого рода» влияет на расчёт, проверку ограничения или построение дополнительного показателя. Числа и списки требуют согласованных единиц и корректных границ.
Математическое соотношение и проверочный пример
Базовая формула записывается так: z=(pB−pA)/SE, порог z_(1−α/(2K)). Она описывает именно задачу «Две доли при заранее заданных промежуточных просмотрах», поэтому другой статистический метод может дать другое число при тех же наблюдениях.
Для исходного примера вычисляется показатель «Разность конверсий» = 0.033. Также получается «Статистика z» = 2.1493218. Это разные характеристики, их не стоит смешивать.
Чтобы убедиться в чувствительности, во втором примере изменяется часть исходных параметров. Он даёт «Разность конверсий» = 0.008. Сравнение удобно проводить с одинаковой точностью округления.
Как проверять выводы и не попасть в ловушку
Поправка Бонферрони по числу просмотров консервативна и предполагает неизменный план. Если это условие нарушено, полученное число может выглядеть правдоподобно, но не иметь нужного статистического смысла. Особенно важно понимать источник данных.
Фиксированное число промежуточных просмотров должно быть известно до опыта. Поправка на эти просмотры снижает риск случайного раннего объявления победы. При изменении «Общая ошибка первого рода» посмотрите не только на главный итог, но и на диагностические величины и границы. Это помогает заметить изменение режима расчёта.
Метрика, разделение потока и правило окончания эксперимента должны быть определены до запуска. Не стоит использовать один автоматический показатель как доказательство качества исходных данных. Для ответственных решений полезны контрольные примеры и независимое повторение анализа.
Формула расчёта
z=(pB−pA)/SE, порог z_(1−α/(2K))
Проверенные примеры
Исходные данные: Успехи контроля = 120; Посетители контроля = 1000; Успехи варианта = 153; Посетители варианта = 1000; Запланировано просмотров = 5; Общая ошибка первого рода = 0.05
Разность конверсий: 0.033; Статистика z: 2.1493218; Двустороннее p-значение: 0.03160879; Поправленный уровень на просмотр: 0.01
Исходные данные: Успехи контроля = 145; Посетители контроля = 1000; Успехи варианта = 153; Посетители варианта = 1000; Запланировано просмотров = 5; Общая ошибка первого рода = 0.05
Разность конверсий: 0.008; Статистика z: 0.50236234; Двустороннее p-значение: 0.61541265; Поправленный уровень на просмотр: 0.01
Исходные данные: Успехи контроля = 120; Посетители контроля = 1201; Успехи варианта = 153; Посетители варианта = 1000; Запланировано просмотров = 5; Общая ошибка первого рода = 0.05
Разность конверсий: 0.05308326; Статистика z: 3.7618745; Двустороннее p-значение: 0.0001687; Поправленный уровень на просмотр: 0.01
Как пользоваться онлайн-калькулятором
- Введите «Успехи контроля» в нужном формате и проверьте единицы измерения.
- Задайте «Посетители контроля» и «Успехи варианта» в соответствии с вашей задачей.
- Сравните несколько связанных показателей и используйте пример как контроль расчёта.