Когда применять расчёт
Оценка минимальной разницы конверсий для заданной мощности с поправкой Бонферрони на промежуточные просмотры. Частые промежуточные просмотры результата A/B-теста создают несколько возможностей случайно «найти победителя». Поправка на число просмотров увеличивает минимально обнаруживаемый эффект. У этой модели исходное поле «Базовая конверсия» используется вместе с «Плановая мощность» в задаче MDE≈(z₁₋α/(2L)+zₚ)√[2p(1−p)/n]. Здесь речь именно об этих показателях.
Для проверки работы можно начать с «Базовая конверсия»: 0.12. Эти значения предназначены для демонстрации метода, а не обозначают рекомендуемую норму или типичные показатели всех выборок.
Перед A/B-экспериментом важно определить метрику, правило окончания, контроль и допустимую вероятность ложных выводов. Прежде чем интерпретировать вывод, необходимо понимать единицы измерения и способ получения каждой записи.
Разбор всех входных параметров
В форме предусмотрено 5 входных параметров. «Базовая конверсия» определяет исходные данные; «Наблюдений в каждой группе» имеет исходное значение 1500. Оба параметра непосредственно участвуют в расчёте, а не служат оформлением.
Третий параметр, «Число просмотров результата», в примере равен 4. Изменяя его, следует оставлять остальные данные неизменными, иначе нельзя будет выяснить, почему получился другой итог.
Остальные поля: «Семейная значимость» = 0.05; «Плановая мощность» = 0.8. Каждое число участвует в формуле, в ограничении модели или в отдельной выходной величине; не допускается подмена фактических данных придуманными значениями.
Математическая модель и показатели
Основа вычисления: MDE≈(z₁₋α/(2L)+zₚ)√[2p(1−p)/n]. Частые промежуточные просмотры результата A/B-теста создают несколько возможностей случайно «найти победителя». Поправка на число просмотров увеличивает минимально обнаруживаемый эффект.
На исходных данных ключевой результат «MDE в долях» равен 0.03962418; связанный показатель «MDE в процентных пунктах» равен 3.9624183. Их значения отвечают на разные вопросы, поэтому один из показателей не заменяет другой.
Для второго контрольного примера получается «MDE в долях» = 0.05051112. В третьем примере другой входной параметр изменяет связанные величины. Такие проверки полезны при переносе модели в собственные расчёты.
Пограничные случаи и корректная трактовка
Величина MDE приближённая; число просмотров анализа должно быть определено до эксперимента. Результат следует сопоставлять с исходными допущениями, иначе внешне точное число может оказаться статистически неподходящим.
Например, выбранное значение «Плановая мощность» = 0.8 влияет на проверку, прогноз или вычисляемую величину. При его изменении полезно просмотреть полный набор результатов вместо одного показателя.
Перед A/B-экспериментом важно определить метрику, правило окончания, контроль и допустимую вероятность ложных выводов. Для серьёзных решений желательно проверить устойчивость к небольшим изменениям входных величин и воспроизвести вычисление независимым способом.
Формула расчёта
MDE≈(z₁₋α/(2L)+zₚ)√[2p(1−p)/n]
Проверенные примеры
Введены параметры: Базовая конверсия = 0.12; Наблюдений в каждой группе = 1500; Число просмотров результата = 4; Семейная значимость = 0.05; Плановая мощность = 0.8.
Получены показатели: MDE в долях: 0.03962418; MDE в процентных пунктах: 3.9624183; Требуемый z-порог: 2.4977063; Ошибка на один просмотр: 0.0125; Стандартная ошибка разницы: 0.01186592.
Введены параметры: Базовая конверсия = 0.22; Наблюдений в каждой группе = 1500; Число просмотров результата = 4; Семейная значимость = 0.05; Плановая мощность = 0.8.
Получены показатели: MDE в долях: 0.05051112; MDE в процентных пунктах: 5.051112; Требуемый z-порог: 2.4977063; Ошибка на один просмотр: 0.0125; Стандартная ошибка разницы: 0.01512614.
Введены параметры: Базовая конверсия = 0.12; Наблюдений в каждой группе = 2026; Число просмотров результата = 4; Семейная значимость = 0.05; Плановая мощность = 0.8.
Получены показатели: MDE в долях: 0.03409465; MDE в процентных пунктах: 3.4094649; Требуемый z-порог: 2.4977063; Ошибка на один просмотр: 0.0125; Стандартная ошибка разницы: 0.01021004.
Как пользоваться онлайн-калькулятором
- Укажите «Базовая конверсия». Данные должны соответствовать описанию измерения.
- Введите «Наблюдений в каждой группе» и «Число просмотров результата», учитывая связь между полями.
- Проверьте связанные показатели на трёх разобранных примерах и сравните результат с ограничениями модели.