Деление трафика A/B-теста при нескольких просмотрах

Практическое назначение расчёта

Исходная задача: Распределяет трафик между вариантами по дисперсиям конверсии и корректирует порог значимости на заданное число промежуточных проверок. В частности, данные из поля «Конверсия контроля» определяют наблюдаемую совокупность или параметры вероятностного механизма; перед вычислением нужно решить, соответствуют ли они реальной задаче.

Вторая величина формы — «Конверсия варианта», в примере равна 0.11. При самостоятельной проверке полезно изменять её отдельно: так легче оценить, насколько устойчив итог «Рекомендуемый размер A» и не теряются ли существенные детали.

Числовые результаты дополняют друг друга. На представленном наборе «Рекомендуемый размер B» составляет 8034, а «Мощность с поправкой на просмотры» — 0.999925. Такая пара показателей часто помогает обнаружить несоответствие исходных предпосылок ещё до принятия решения.

Что означают и как связаны поля формы

Всего в форме предусмотрено 6 независимых входных параметров. Например, «Конверсия контроля» = 0.08, а «Конверсия варианта» = 0.11. Эти поля имеют разный смысл и используются на соответствующих этапах вычислительного алгоритма.

Поле «Общий объём трафика» со значением 15000 задаёт ещё одно условие. Его нельзя опускать только потому, что для какого-то конкретного набора данных округлённый первый показатель меняется слабо или остаётся тем же.

Для данного расчёта перечень вводимых величин выглядит так: Конверсия контроля = 0.08; Конверсия варианта = 0.11; Общий объём трафика = 15000; Общая значимость = 0.05; Число просмотров результата = 4; Желаемая мощность = 0.8. Списки вводятся в согласованном порядке, и каждое значение должно принадлежать своей строке или категории.

Как устроена статистическая модель

Основное соотношение записывается как nA/nB=√[pA(1−pA)/pB(1−pB)]. Оно объединяет введённые величины в одну статистическую конструкцию, а не просто возвращает произведение или сумму первого и второго поля.

Для исходных значений «Рекомендуемый размер A» = 6966. Связанный показатель «Рекомендуемый размер B» = 8034. Если эти результаты противоречат ожиданиям, прежде всего проверьте единицы, знаки исходных значений и выбранную схему расчёта.

Для расчёта второго контрольного примера изменяется именно «Конверсия контроля». Получаем «Рекомендуемый размер A» = 7995. Это демонстрирует зависимость ответа от данных, а не от подписи формы.

Ограничения и интерпретация ответа

Ключевое ограничение метода: Многократное неучтённое наблюдение за результатами увеличивает риск ложного открытия; число просмотров задают до старта. Даже если численные проверки пройдены, оно остаётся существенным при переносе результатов на другую совокупность или период наблюдения.

Чтобы не принять случайную особенность выборки за устойчивую закономерность, сопоставьте «Мощность с поправкой на просмотры» = 0.999925 с исходной шкалой измерения. Различие параметров может привести к существенному изменению решения, но причина всегда требует содержательной проверки.

В третьем контрольном наборе меняется «Конверсия варианта»; при этом «Рекомендуемый размер A» = 6208. При большом расхождении с основным примером стоит проверить выбросы, пропуски, зависимости и предельные условия.

Формула расчёта

Проверенные примеры

Как пользоваться онлайн-калькулятором

1. Подготовьте исходные данные для поля «Конверсия контроля», соблюдая указанную размерность и порядок значений.
2. Уточните «Конверсия варианта»: этот параметр непосредственно участвует в статистической модели.
3. Сравните несколько показателей результата и проверьте, соблюдаются ли ограничения метода.