Оптимальное распределение трафика между версиями

Когда применять расчёт

Распределение трафика по дисперсиям бинарного отклика и оценка мощности эксперимента при заданном общем потоке. Равное распределение трафика не всегда минимизирует ошибку оценки разницы. Оптимальная доля определяется дисперсиями ожидаемых конверсий двух групп. У этой модели исходное поле «Конверсия A» используется вместе с «Целевая мощность» в задаче nA/nB=√[pA(1−pA)/pB(1−pB)]. Здесь речь именно об этих показателях.

Для проверки работы можно начать с «Конверсия A»: 0.1. Эти значения предназначены для демонстрации метода, а не обозначают рекомендуемую норму или типичные показатели всех выборок.

Перед A/B-экспериментом важно определить метрику, правило окончания, контроль и допустимую вероятность ложных выводов. Прежде чем интерпретировать вывод, необходимо понимать единицы измерения и способ получения каждой записи. У этой модели исходное поле «Конверсия A» используется вместе с «Целевая мощность» в задаче nA/nB=√[pA(1−pA)/pB(1−pB)]. Здесь речь именно об этих показателях.

Разбор всех входных параметров

В форме предусмотрено 5 входных параметров. «Конверсия A» определяет исходные данные; «Конверсия B» имеет исходное значение 0.135. Оба параметра непосредственно участвуют в расчёте, а не служат оформлением.

Третий параметр, «Плановый объём трафика», в примере равен 20000. Изменяя его, следует оставлять остальные данные неизменными, иначе нельзя будет выяснить, почему получился другой итог.

Остальные поля: «Значимость» = 0.05; «Целевая мощность» = 0.8. Каждое число участвует в формуле, в ограничении модели или в отдельной выходной величине; не допускается подмена фактических данных придуманными значениями.

Математическая модель и показатели

Основа вычисления: nA/nB=√[pA(1−pA)/pB(1−pB)]. Равное распределение трафика не всегда минимизирует ошибку оценки разницы. Оптимальная доля определяется дисперсиями ожидаемых конверсий двух групп.

На исходных данных ключевой результат «Рекомендуемый объём A» равен 9350; связанный показатель «Рекомендуемый объём B» равен 10650. Их значения отвечают на разные вопросы, поэтому один из показателей не заменяет другой.

Для второго контрольного примера получается «Рекомендуемый объём A» = 10786. В третьем примере другой входной параметр изменяет связанные величины. Такие проверки полезны при переносе модели в собственные расчёты.

Пограничные случаи и корректная трактовка

Оптимизация основана на предположениях об ожидаемых конверсиях и неизменном составе аудитории. Результат следует сопоставлять с исходными допущениями, иначе внешне точное число может оказаться статистически неподходящим.

Например, выбранное значение «Целевая мощность» = 0.8 влияет на проверку, прогноз или вычисляемую величину. При его изменении полезно просмотреть полный набор результатов вместо одного показателя.

Перед A/B-экспериментом важно определить метрику, правило окончания, контроль и допустимую вероятность ложных выводов. Для серьёзных решений желательно проверить устойчивость к небольшим изменениям входных величин и воспроизвести вычисление независимым способом. У этой модели исходное поле «Конверсия A» используется вместе с «Целевая мощность» в задаче nA/nB=√[pA(1−pA)/pB(1−pB)]. Здесь речь именно об этих показателях.

Формула расчёта

Проверенные примеры

Как пользоваться онлайн-калькулятором

1. Укажите «Конверсия A». Данные должны соответствовать описанию измерения.
2. Введите «Конверсия B» и «Плановый объём трафика», учитывая связь между полями.
3. Проверьте связанные показатели на трёх разобранных примерах и сравните результат с ограничениями модели.