Расчёт размера группы
Ожидаемый размер тестовой группы равен общему трафику, умноженному на долю в долях единицы: n_B = N · p / 100. Контрольная группа получает остаток n_A = N − n_B. При 50 000 посетителей и доле 20 % вариант получит 10 000 человек, контроль 40 000.
Если вариантов несколько, расчёт повторяют для каждого. Сумма долей всех групп, включая контрольную, должна составлять ровно 100 %, иначе часть трафика окажется вне эксперимента или будет учтена дважды.
Как выбирать долю трафика
Равное деление 50 на 50 даёт самую высокую статистическую мощность при заданном общем трафике, потому что обе группы одинаково информативны. Поэтому его выбирают, когда изменение безопасно и важно получить ответ быстро.
Неравное деление применяют при рискованных изменениях: например 10 или 20 % на новый вариант. Платой становится длительность. Меньшая группа накапливает данные медленнее, и обнаружить тот же эффект удаётся позже. Баланс между риском и скоростью определяет команда, калькулятор лишь показывает его в людях.
Случайный разброс размера групп
Даже при идеальной случайности группы не совпадут с расчётом точно. Число посетителей в варианте приближённо ведёт себя как биномиальная величина со стандартным отклонением √(N · p · (1 − p)). Для 50 000 посетителей и доли 0,2 оно равно √8000 ≈ 89.
Это значит, что в группу попадёт 10 000 ± 89 человек в типичном случае, а отклонение до 180 человек, то есть около двух стандартных отклонений, встречается заметно реже, но не должно удивлять. Намного большие расхождения — повод проверить, не нарушена ли логика распределения.
Проверка распределения после запуска
Если фактическое соотношение групп заметно отличается от запланированного, говорят о нарушении соотношения выборок. Причины бывают техническими: потеря событий в одном варианте, ошибка в фильтрах, неодинаковая загрузка страниц, боты. Результаты такого эксперимента нельзя интерпретировать без выяснения причин.
Поэтому после запуска сравнивайте реальные размеры групп с расчётными, особенно в первые дни. Калькулятор даёт эталон для сравнения. Формальная проверка соответствия, например критерием хи-квадрат, выполняется отдельно.
Чего расчёт не делает
Размер группы сам по себе не гарантирует, что эксперимент сможет обнаружить эффект. Нужный объём зависит от базовой конверсии, минимального интересующего изменения и выбранных уровней значимости и мощности, и определяется отдельными формулами.
Кроме того, расчёт предполагает постоянный трафик. Если посетителей больше по будням или в дни акций, группы будут расти неравномерно, и ожидаемое число лучше считать для каждой недели отдельно либо для полных недельных циклов.
Формула расчёта
n_B = N · p / 100; n_A = N − n_B
Проверенные примеры
Через эксперимент пройдёт 50 000 посетителей, на новый вариант направили 20 % трафика. Сколько посетителей получит вариант и сколько контроль?
n_B = 50 000 · 20 / 100 = 10 000 посетителей. Контрольная группа n_A = 50 000 − 10 000 = 40 000.
За период ожидается 12 800 посетителей, на вариант направляют 12,5 % трафика. Каков размер группы?
n_B = 12 800 · 12,5 / 100 = 1600 посетителей.
Как пользоваться онлайн-калькулятором
- Введите ожидаемое число посетителей, которые пройдут через эксперимент за выбранный период.
- Укажите долю трафика на проверяемый вариант в процентах.
- Нажмите «Рассчитать»: результат — ожидаемый размер группы; контролю достанется остаток.