Срок A/B-теста с ограничением бюджета и потока

Когда полезен расчёт

Планирование эксперимента зависит не только от статистической мощности, но и от реального потока пользователей и цены привлечения. Оба ограничения следует проверить до запуска. Заранее задавайте метрику, минимальный полезный эффект и процедуру остановки эксперимента.

Планирование требуемых пользователей, календарных дней и бюджета двухвариантного эксперимента. Такой анализ отвечает не на отвлечённый вопрос, а на конкретную практическую ситуацию. Поэтому сначала определите популяцию, тип измерения и реальное решение, ради которого сравниваются результаты.

Например, значение «Исходная конверсия» определяет исходный материал, а «Минимально полезный абсолютный эффект» задаёт дополнительную часть постановки. Изменение схемы сбора чисел может поменять смысл даже формально одинаковых итогов.

Входные данные и математическая модель

В основе расчёта лежит следующее соотношение: n≈2(z_(1−α/2)+z_(power))²·p(1−p)/δ² на группу. Здесь пользовательские поля используются совместно; произвольная замена одного из параметров нарушает согласованность методики.

Для контрольного примера в поле «Исходная конверсия» указано 0.11, а «Минимально полезный абсолютный эффект» равно 0.025. Эти значения показывают формат ввода, но не являются общепринятым нормативом.

Параметр «Уровень значимости» в примере равен 0.05. Если изменить его, остальные условия нужно оставить сопоставимыми. Это особенно важно при проверке чувствительности вычисления. В примере «Бюджет» задаётся как 100000; это отдельная характеристика именно данной модели.

Пример и разбор результатов

На исходном наборе показатель «На каждую группу участников» равен 2696; связанный результат «Всего участников» равен 5392. Названия показателей отражают разные математические величины, и их не следует трактовать как взаимозаменяемые.

В калькуляторе вместе с основным результатом выводятся промежуточные оценки и диагностические величины. Они помогают понять, почему два сценария могут приводить к разным выводам даже при близких основных числах. Для расчёта «Срок A/B-теста с ограничением бюджета и потока» полезно отдельно проверить «Бюджет», поскольку этот параметр изменяет математическую постановку.

Для самопроверки измените одно поле, затем сравните результат с исходным. Если показатель изменяется скачком, проверьте, не пересекает ли изменённое число категориальную границу или установленный порог. Планирование эксперимента зависит не только от статистической мощности, но и от реального потока пользователей и цены привлечения. Оба ограничения следует проверить до запуска.

Границы метода и типичные ошибки

Нормальное приближение применимо для невырожденных долей и фиксированной гипотезы. Это условие следует проверить до использования полученного числа в отчёте или принятии решения.

Многократное подглядывание в результаты без последовательной схемы увеличивает вероятность случайного успеха. Важны единицы измерения, пропуски и то, относятся ли все входные значения к одному и тому же объекту исследования. Для показателя «Срок A/B-теста с ограничением бюджета и потока» ограничения относятся ко всем формам ввода, включая «Исходная конверсия».

Если вывод окажется существенно важным, полезно сравнить его с альтернативной методикой или независимой выборкой. Этот калькулятор предназначен для воспроизводимых оценок, но не способен самостоятельно подтвердить качество исходных данных. Планирование эксперимента зависит не только от статистической мощности, но и от реального потока пользователей и цены привлечения. Оба ограничения следует проверить до запуска.

Формула расчёта

Проверенные примеры

Как пользоваться онлайн-калькулятором

1. Введите «Исходная конверсия» в соответствии со способом сбора данных.
2. Уточните «Минимально полезный абсолютный эффект» и «Уровень значимости», затем остальные обязательные параметры.
3. Сравните основные и дополнительные результаты, проверьте ограничения метода.