Последовательный A/B-тест при заданной мощности

Практическое назначение расчёта

Исходная задача: Планирует необходимую общую выборку и оценивает мощность на текущем просмотре с учётом нескольких альтернатив. В частности, данные из поля «Конверсия контроля» определяют наблюдаемую совокупность или параметры вероятностного механизма; перед вычислением нужно решить, соответствуют ли они реальной задаче.

Вторая величина формы — «Ожидаемый прирост», в примере равна 0.025. При самостоятельной проверке полезно изменять её отдельно: так легче оценить, насколько устойчив итог «Необходимая суммарная выборка» и не теряются ли существенные детали.

Числовые результаты дополняют друг друга. На представленном наборе «Текущая приближённая мощность» составляет 0.547101, а «Доля выполнения плана» — 0.591086. Такая пара показателей часто помогает обнаружить несоответствие исходных предпосылок ещё до принятия решения.

Что означают и как связаны поля формы

Всего в форме предусмотрено 8 независимых входных параметров. Например, «Конверсия контроля» = 0.08, а «Ожидаемый прирост» = 0.025. Эти поля имеют разный смысл и используются на соответствующих этапах вычислительного алгоритма.

Поле «Доля контроля» со значением 0.5 задаёт ещё одно условие. Его нельзя опускать только потому, что для какого-то конкретного набора данных округлённый первый показатель меняется слабо или остаётся тем же.

Для данного расчёта перечень вводимых величин выглядит так: Конверсия контроля = 0.08; Ожидаемый прирост = 0.025; Доля контроля = 0.5; Семейная значимость = 0.05; Требуемая мощность = 0.85; Число альтернатив = 3; Число плановых просмотров = 5; Участников к текущему просмотру = 5000. Списки вводятся в согласованном порядке, и каждое значение должно принадлежать своей строке или категории.

Как устроена статистическая модель

Основное соотношение записывается как n≈(zα+zβ)²[varA/ra+varB/rb]/δ². Оно объединяет введённые величины в одну статистическую конструкцию, а не просто возвращает произведение или сумму первого и второго поля.

Для исходных значений «Необходимая суммарная выборка» = 8459. Связанный показатель «Текущая приближённая мощность» = 0.547101. Если эти результаты противоречат ожиданиям, прежде всего проверьте единицы, знаки исходных значений и выбранную схему расчёта.

Для расчёта второго контрольного примера изменяется именно «Конверсия контроля». Получаем «Необходимая суммарная выборка» = 13724. Это демонстрирует зависимость ответа от данных, а не от подписи формы.

Ограничения и интерпретация ответа

Ключевое ограничение метода: Порог и число проверок задаются заранее, повторное заглядывание в результаты меняет риск ошибки. Даже если численные проверки пройдены, оно остаётся существенным при переносе результатов на другую совокупность или период наблюдения. В данном расчёте «Конверсия контроля» = 0.08, а «Ожидаемый прирост» = 0.025; эти исходные условия определяют интерпретацию показателей метода «Последовательный A/B-тест при заданной мощности».

Чтобы не принять случайную особенность выборки за устойчивую закономерность, сопоставьте «Доля выполнения плана» = 0.591086 с исходной шкалой измерения. Различие параметров может привести к существенному изменению решения, но причина всегда требует содержательной проверки.

В третьем контрольном наборе меняется «Ожидаемый прирост»; при этом «Необходимая суммарная выборка» = 762. При большом расхождении с основным примером стоит проверить выбросы, пропуски, зависимости и предельные условия.

Формула расчёта

Проверенные примеры

Как пользоваться онлайн-калькулятором

1. Введите наблюдения и параметры исходной задачи.
2. Убедитесь, что масштаб данных, размеры групп и вероятности допустимы.
3. Сравните итоговые показатели и учитывайте ограничения модели.