Конверсия варианта A/B-теста

Формула и обозначения

Конверсия группы равна числу пользователей, совершивших целевое действие, делённому на число всех пользователей группы, умноженному на 100%. Например, 30 заказов на 1000 пользователей — 3%. Это оценка вероятности того, что случайный пользователь группы совершит цель.

Вторая группа может быть другого размера: 125 заказов на 2500 пользователей дают 5%. Конверсии сравнимы, потому что нормированы на размер группы, а вот абсолютные числа заказов — нет.

Выбор знаменателя

Единицей анализа должен быть тот объект, которого случайно распределяли по группам, обычно уникальный пользователь или устройство. Если считать сеансы, один активный пользователь окажется в знаменателе многократно, и конверсия занизится.

Следите и за моментом включения пользователя в знаменатель: учитывайте тех, кто фактически увидел вариант. Если в группу A попадают все посетители сайта, а в B только дошедшие до страницы с кнопкой, сравнение будет искажено.

Что делать с полученными числами

Конверсия — только точечная оценка. При 30 заказах на 1000 пользователей случайная погрешность значительна: истинное значение может заметно отличаться от 3%. Чем меньше группа, тем шире возможный разброс.

Для сравнения групп используют критерии значимости различия долей и доверительные интервалы. Сам калькулятор подготавливает входные данные для такого анализа, но вывод «вариант B лучше» без проверки значимости делать нельзя.

Частые ошибки

Нельзя останавливать тест, как только разница стала «заметной»: многократное подглядывание повышает вероятность ложного вывода. Размер выборки и длительность желательно задать до запуска эксперимента.

Другая ошибка — менять определение цели по ходу теста или сравнивать группы за разные недели. Сезонность и акции влияют на конверсию сильнее, чем небольшая правка кнопки, поэтому группы должны проходить через одни и те же даты.

Границы применения

Расчёт подходит для любых бинарных исходов: заказ, регистрация, подписка, ответ на письмо. Для непрерывных метрик, например среднего чека, нужны другие показатели и другие критерии.

Если одни пользователи могут попасть в обе группы из-за смены устройства, часть наблюдений оказывается зависимой. В таких случаях сначала очищают данные и только потом считают конверсию.

Сколько пользователей нужно для надёжной конверсии

Оценка конверсии подвержена случайному разбросу, который убывает пропорционально корню из размера группы. При конверсии около 3% и группе в 1000 человек стандартная ошибка составляет примерно 0,54 процентного пункта, а в группе из 10 000 — уже около 0,17 пункта.

Поэтому эксперименты на малых группах дают нестабильные результаты: разница в полпроцентного пункта может оказаться чистым шумом. Чем ниже базовая конверсия и чем меньше эффект, который вы хотите обнаружить, тем больше пользователей понадобится.

Размер групп лучше определять заранее с помощью расчёта мощности, а затем довести эксперимент до запланированного объёма. Калькулятор считает конверсию, но объёма данных за вас не определяет.

Сегменты и общая конверсия

Общая конверсия группы складывается из конверсий сегментов: новых и вернувшихся пользователей, мобильных и настольных устройств. Если в вариант B случайно попало больше мобильных пользователей, у которых конверсия ниже, общий показатель окажется заниженным без всякого влияния самого варианта.

Поэтому после подсчёта общей конверсии полезно посмотреть ключевые сегменты по отдельности. Но не стоит искать «выигрышный» сегмент после теста: чем больше срезов, тем выше шанс найти случайный эффект. Сегменты выбирают заранее и фиксируют в плане эксперимента.

Формула расчёта

Проверенные примеры

Как пользоваться онлайн-калькулятором

1. Возьмите данные одного варианта: контрольного или тестового.
2. Введите число пользователей с целевым действием и размер группы.
3. Повторите расчёт для второго варианта и сравните результаты.