Определение и формула
Uplift = (CR_B − CR_A) / CR_A · 100%, где CR_A — конверсия контрольной группы, CR_B — тестовой. Положительное значение означает улучшение, отрицательное — ухудшение, ноль — отсутствие разницы в наблюдаемых конверсиях.
При CR_A = 3,0% и CR_B = 3,6% получаем (3,6 − 3,0) / 3,0 = 0,2, то есть 20%. Иначе говоря, тестовый вариант привёл на пятую часть больше целевых действий на каждые сто пользователей контроля.
Проценты и процентные пункты
Разность двух процентов измеряется в процентных пунктах. В примере она равна 0,6 п. п. Если назвать её «0,6%», читатель решит, что конверсия выросла на шесть десятых процента от исходной, а это не так.
В отчёте лучше указывать оба показателя: «+0,6 п. п. (+20% относительно контроля)». Такая запись не допускает двойного толкования и показывает, как масштаб эффекта, так и его базу.
Отрицательный эффект
Если контроль конвертируется в 5%, а тест в 4%, uplift равен -20%. Обратите внимание на асимметрию: падение на 20% нельзя компенсировать ростом на 20%. Чтобы вернуться с 4% к 5%, нужен рост на 25%.
Поэтому при сравнении нескольких вариантов относительные изменения не складывают. Всегда пересчитывают от общей базы, то есть от конверсии контроля.
Влияние малой базы
Когда исходная конверсия мала, относительный прирост выглядит впечатляюще даже при ничтожной абсолютной разнице. Рост с 0,1% до 0,2% — это +100%, хотя на тысячу пользователей добавляется всего один успех.
Поэтому цифру uplift нужно сопровождать объёмом наблюдений. Малые числа успехов дают нестабильные проценты, и сильное относительное улучшение часто исчезает при повторном запуске теста.
Что остаётся за рамками калькулятора
Uplift описывает только наблюдаемую разницу двух чисел. Он не говорит, случайна ли она. Чтобы отличить реальный эффект от шума, нужно знать размеры групп и применить критерий для сравнения долей, а решение принимать по заранее выбранному уровню значимости.
Для бизнес-решения учитывают также стоимость внедрения, сезонность и влияние на другие метрики. Прирост одной метрики может сопровождаться падением другой.
Как сообщать результат эксперимента
Хороший отчёт содержит несколько величин: конверсии обеих групп, размеры групп, абсолютную разницу в процентных пунктах, относительный прирост и меру неопределённости, например доверительный интервал. Одна цифра «+20%» без остального вводит в заблуждение.
Полезно показывать и бизнес-смысл. Если конверсия выросла с 3,0% до 3,6% при 100 000 посетителей в месяц, это 600 дополнительных целевых действий в месяц, и уже по ним оценивают стоимость внедрения.
Наконец, фиксируйте условия: даты, источники трафика, версию варианта. Через полгода по таким записям можно понять, почему повторный тест дал иной результат.
Направление и допустимый эффект
Иногда важна не только положительная динамика, но и отсутствие ухудшения. В таких тестах заранее задают допустимое снижение, например не более −2% относительно контроля, и проверяют, что нижняя граница оценки эффекта не выходит за этот предел.
Калькулятор показывает точечное значение, которое лишь центр интервала возможных эффектов. Реальный uplift при тех же данных мог быть как заметно больше, так и меньше, особенно при малом числе конверсий в группах, поэтому решение о запуске принимают по интервалу, а не по одной цифре.
Формула расчёта
uplift = (CR_B − CR_A) / CR_A · 100%
Проверенные примеры
Конверсия контроля 3,0%, теста 3,6%. Каков uplift?
(3,6 − 3,0) / 3,0 · 100% = 20%. Абсолютная разница составляет 0,6 процентного пункта.
Контроль даёт 5%, тест 4%. Каков uplift?
(4 − 5) / 5 · 100% = -20%. Вариант B хуже контроля на пятую часть.
Как пользоваться онлайн-калькулятором
- Посчитайте конверсию контрольной и тестовой групп.
- Введите конверсию контроля в первое поле, конверсию теста во второе.
- Нажмите «Вычислить» и сравните uplift с абсолютной разницей в процентных пунктах.