Когда применять расчёт
Сравнение контрольной конверсии с двумя вариантами и одновременные интервалы изменения в процентных пунктах. Сравнения B и C используют один и тот же контроль. Две доверительные границы вычисляются с поправкой на семейную ошибку и не должны трактоваться как независимые эксперименты. У этой модели исходное поле «Размер контроля» используется вместе с «Общая значимость» в задаче CI(Δ)=pB−pA±z₁₋α/(2m)SE. Здесь речь именно об этих показателях.
Для проверки работы можно начать с «Размер контроля»: 1500. Эти значения предназначены для демонстрации метода, а не обозначают рекомендуемую норму или типичные показатели всех выборок.
Перед A/B-экспериментом важно определить метрику, правило окончания, контроль и допустимую вероятность ложных выводов. Прежде чем интерпретировать вывод, необходимо понимать единицы измерения и способ получения каждой записи. У этой модели исходное поле «Размер контроля» используется вместе с «Общая значимость» в задаче CI(Δ)=pB−pA±z₁₋α/(2m)SE. Здесь речь именно об этих показателях.
Разбор всех входных параметров
В форме предусмотрено 7 входных параметров. «Размер контроля» определяет исходные данные; «Успехи контроля» имеет исходное значение 190. Оба параметра непосредственно участвуют в расчёте, а не служат оформлением.
Третий параметр, «Размер варианта B», в примере равен 1400. Изменяя его, следует оставлять остальные данные неизменными, иначе нельзя будет выяснить, почему получился другой итог.
Остальные поля: «Успехи B» = 210; «Размер варианта C» = 1300; «Успехи C» = 205; «Общая значимость» = 0.05. Каждое число участвует в формуле, в ограничении модели или в отдельной выходной величине; не допускается подмена фактических данных придуманными значениями.
Математическая модель и показатели
Основа вычисления: CI(Δ)=pB−pA±z₁₋α/(2m)SE. Сравнения B и C используют один и тот же контроль. Две доверительные границы вычисляются с поправкой на семейную ошибку и не должны трактоваться как независимые эксперименты.
На исходных данных ключевой результат «Конверсия контроля» равен 0.12666667; связанный показатель «Эффект варианта B, п. п.» равен 2.3333333. Их значения отвечают на разные вопросы, поэтому один из показателей не заменяет другой.
Для второго контрольного примера получается «Конверсия контроля» = 0.09378085. В третьем примере другой входной параметр изменяет связанные величины. Такие проверки полезны при переносе модели в собственные расчёты.
Пограничные случаи и корректная трактовка
Нормальные интервалы ненадёжны, если ожидаемые числа успехов или неудач малы. Результат следует сопоставлять с исходными допущениями, иначе внешне точное число может оказаться статистически неподходящим.
Например, выбранное значение «Общая значимость» = 0.05 влияет на проверку, прогноз или вычисляемую величину. При его изменении полезно просмотреть полный набор результатов вместо одного показателя.
Перед A/B-экспериментом важно определить метрику, правило окончания, контроль и допустимую вероятность ложных выводов. Для серьёзных решений желательно проверить устойчивость к небольшим изменениям входных величин и воспроизвести вычисление независимым способом. У этой модели исходное поле «Размер контроля» используется вместе с «Общая значимость» в задаче CI(Δ)=pB−pA±z₁₋α/(2m)SE. Здесь речь именно об этих показателях.
Формула расчёта
CI(Δ)=pB−pA±z₁₋α/(2m)SE
Проверенные примеры
Введены параметры: Размер контроля = 1500; Успехи контроля = 190; Размер варианта B = 1400; Успехи B = 210; Размер варианта C = 1300; Успехи C = 205; Общая значимость = 0.05.
Получены показатели: Конверсия контроля: 0.12666667; Эффект варианта B, п. п.: 2.3333333; Нижняя граница B, п. п.: -0.54422442; Верхняя граница B, п. п.: 5.2108911; Эффект варианта C, п. п.: 3.1025641.
Введены параметры: Размер контроля = 2026; Успехи контроля = 190; Размер варианта B = 1400; Успехи B = 210; Размер варианта C = 1300; Успехи C = 205; Общая значимость = 0.05.
Получены показатели: Конверсия контроля: 0.09378085; Эффект варианта B, п. п.: 5.6219151; Нижняя граница B, п. п.: 3.0368191; Верхняя граница B, п. п.: 8.2070111; Эффект варианта C, п. п.: 6.3911459.
Введены параметры: Размер контроля = 1500; Успехи контроля = 257; Размер варианта B = 1400; Успехи B = 210; Размер варианта C = 1300; Успехи C = 205; Общая значимость = 0.05.
Получены показатели: Конверсия контроля: 0.17133333; Эффект варианта B, п. п.: -2.1333333; Нижняя граница B, п. п.: -5.187925; Верхняя граница B, п. п.: 0.92125839; Эффект варианта C, п. п.: -1.3641026.
Как пользоваться онлайн-калькулятором
- Укажите «Размер контроля». Данные должны соответствовать описанию измерения.
- Введите «Успехи контроля» и «Размер варианта B», учитывая связь между полями.
- Проверьте связанные показатели на трёх разобранных примерах и сравните результат с ограничениями модели.