Что проверяет A/B-тест и откуда берётся p-значение
A/B-тест сравнивает долю целевых действий в двух независимых группах: например, долю купивших среди посетителей старой и новой страницы. Нулевая гипотеза утверждает, что истинные конверсии равны, а наблюдаемая разница случайна. p-значение показывает, как часто такую или большую разницу давала бы чистая случайность при равных конверсиях. Малое p-значение — повод считать различие реальным, но не доказательство его пользы для бизнеса.
Калькулятор использует двухвыборочный z-тест для долей с объединённой оценкой стандартной ошибки и параллельно считает критерий хи-квадрат с поправкой Йейтса. На больших выборках они почти совпадают; расхождение подсказывает, что данных мало или конверсия слишком близка к нулю или единице. Если ожидаемое число конверсий в какой-либо группе меньше пяти, обоим приближениям доверять нельзя, нужен точный критерий Фишера.
Доверительный интервал разницы и байесовская оценка
Одно p-значение не говорит, насколько велик эффект. Доверительный интервал разницы конверсий в процентных пунктах показывает диапазон, совместимый с данными: если он целиком лежит правее нуля, вариант B превосходит A, а ширина интервала подсказывает, насколько точно измерен прирост. Относительный прирост в процентах удобен для отчёта, но на малой базовой конверсии выглядит эффектнее, чем есть на самом деле.
Байесовская оценка отвечает на более практичный вопрос: какова вероятность, что B действительно лучше A. Для этого конверсии моделируются бета-распределениями с равномерным или неинформативным априором Джеффриса, а вероятность находится численным интегрированием. Она не заменяет проверку гипотез, но помогает принять решение, когда значимости нет, а риск проверить вариант на практике невелик.
Как планировать размер выборки заранее
Остановить тест, как только p-значение опустилось ниже 0,05, нельзя: многократные подсматривания завышают долю ложных побед в разы. Объём выборки определяется до запуска по четырём величинам: базовой конверсии, минимальному эффекту, который стоит обнаружить, уровню значимости и мощности. Мощность 80 % означает, что реальный эффект заданного размера будет найден в восьми случаях из десяти.
Размер группы A считается по формуле для двух долей с учётом соотношения групп; число посетителей округляется вверх, а длительность определяется делением на суточный трафик. Таблица показывает, как размер выборки растёт при уменьшении эффекта: уменьшив обнаружимый эффект вдвое, вы увеличиваете выборку примерно вчетверо. Это главный довод в пользу тестов крупных, а не косметических изменений.
Несколько вариантов и поправка на множественные сравнения
Когда сравниваются не два варианта, а три и больше, вероятность хотя бы одной ложной победы растёт: при пяти независимых сравнениях и уровне 5 % она уже около 23 %. Калькулятор применяет поправку Бонферрони: уровень значимости делится на число сравнений с контролем. Поправка консервативна, зато проста и честна, а выборка растёт умеренно.
Если вариантов много, а трафика мало, выгоднее сократить число гипотез, чем смириться с месяцами теста. Хорошая практика — заранее записать основную метрику и единственное решающее сравнение, а остальные считать исследовательскими. Тогда поправка не нужна для главного вывода, а вторичные результаты читаются как подсказки для следующих тестов.
Типичные ошибки интерпретации
Первая ошибка — остановка по первому успеху. Вторая — игнорирование недельной сезонности: тест нужно вести целыми неделями, иначе будние и выходные дни войдут в группы неравномерно. Третья — смешение единиц анализа: если конверсии считаются по заказам, а группы формируются по пользователям, независимость наблюдений нарушена и интервалы окажутся слишком узкими.
Четвёртая ошибка — путать статистическую значимость с практической. При миллионе посетителей значимой окажется и разница в сотые доли процентного пункта, которая не окупит внедрения. Сопоставляйте нижнюю границу доверительного интервала с минимально выгодным эффектом: решение принимают по ней, а не по звёздочке рядом с p-значением.
Формула расчёта
z = (p_B − p_A) / √(p̂(1 − p̂)(1/n_A + 1/n_B)); n_A = [z_α√((1+1/k)p̄q̄) + z_β√(p₁q₁ + p₂q₂/k)]² / (p₂ − p₁)²
Проверенные примеры
Группа A: 10 000 посетителей, 520 конверсий; группа B: 10 000 посетителей, 585 конверсий. Двусторонняя проверка, α = 5 %.
Конверсия A 5,2 %, B 5,85 %, z = 2,012, p = 0,0442. Вывод: различие значимо: B лучше A. Вероятность, что B лучше A: 97,8 %.
Базовая конверсия 5 %, нужно заметить относительный рост на 10 %, мощность 80 %, α = 5 %, два варианта, 1000 посетителей в сутки.
Конверсия B 5,5 %. В каждой группе нужно по 31 234 посетителей, всего 62 468, это 63 суток.
Как пользоваться онлайн-калькулятором
- Выберите режим: анализ готовых результатов или планирование нового теста.
- Для анализа введите посетителей и конверсии обеих групп, выберите гипотезу и уровень значимости.
- Для планирования укажите базовую конверсию, минимальный эффект, мощность, число вариантов и трафик.
- Сравните нижнюю границу интервала с минимально выгодным эффектом и прочитайте вывод.