Последовательный A/B-тест со шкалой накопленных доказательств

Когда полезен расчёт

В последовательном тесте границы проверяются после каждого накопленного исхода, но исходные вероятности и допустимые ошибки нельзя менять по ходу наблюдений. Заранее задавайте метрику, минимальный полезный эффект и процедуру остановки эксперимента.

Оценка отношения правдоподобий бинарных результатов с границами последовательного критерия Вальда. Такой анализ отвечает не на отвлечённый вопрос, а на конкретную практическую ситуацию. Поэтому сначала определите популяцию, тип измерения и реальное решение, ради которого сравниваются результаты.

Например, значение «Успехи на текущий момент» определяет исходный материал, а «Всего наблюдений» задаёт дополнительную часть постановки. Изменение схемы сбора чисел может поменять смысл даже формально одинаковых итогов.

Входные данные и математическая модель

В основе расчёта лежит следующее соотношение: LLR=k ln(p1/p0)+(n−k)ln((1−p1)/(1−p0)). Здесь пользовательские поля используются совместно; произвольная замена одного из параметров нарушает согласованность методики.

Для контрольного примера в поле «Успехи на текущий момент» указано 82, а «Всего наблюдений» равно 400. Эти значения показывают формат ввода, но не являются общепринятым нормативом.

Параметр «Конверсия при нулевой гипотезе» в примере равен 0.16. Если изменить его, остальные условия нужно оставить сопоставимыми. Это особенно важно при проверке чувствительности вычисления. В примере «Ошибка второго рода» задаётся как 0.2; это отдельная характеристика именно данной модели.

Пример и разбор результатов

На исходном наборе показатель «Логарифм отношения правдоподобий» равен 1.42159904; связанный результат «Верхняя граница принятия альтернативы» равен 2.77258872. Названия показателей отражают разные математические величины, и их не следует трактовать как взаимозаменяемые.

В калькуляторе вместе с основным результатом выводятся промежуточные оценки и диагностические величины. Они помогают понять, почему два сценария могут приводить к разным выводам даже при близких основных числах. Для расчёта «Последовательный A/B-тест со шкалой накопленных доказательств» полезно отдельно проверить «Ошибка второго рода», поскольку этот параметр изменяет математическую постановку.

Для самопроверки измените одно поле, затем сравните результат с исходным. Если показатель изменяется скачком, проверьте, не пересекает ли изменённое число категориальную границу или установленный порог. В последовательном тесте границы проверяются после каждого накопленного исхода, но исходные вероятности и допустимые ошибки нельзя менять по ходу наблюдений.

Границы метода и типичные ошибки

Границы гарантируют номинальные ошибки только при заранее заданных p0,p1 и последовательной схеме наблюдений. Это условие следует проверить до использования полученного числа в отчёте или принятии решения.

Многократное подглядывание в результаты без последовательной схемы увеличивает вероятность случайного успеха. Важны единицы измерения, пропуски и то, относятся ли все входные значения к одному и тому же объекту исследования. Для показателя «Последовательный A/B-тест со шкалой накопленных доказательств» ограничения относятся ко всем формам ввода, включая «Успехи на текущий момент».

Если вывод окажется существенно важным, полезно сравнить его с альтернативной методикой или независимой выборкой. Этот калькулятор предназначен для воспроизводимых оценок, но не способен самостоятельно подтвердить качество исходных данных. В последовательном тесте границы проверяются после каждого накопленного исхода, но исходные вероятности и допустимые ошибки нельзя менять по ходу наблюдений.

Формула расчёта

Проверенные примеры

Как пользоваться онлайн-калькулятором

1. Введите «Успехи на текущий момент» в соответствии со способом сбора данных.
2. Уточните «Всего наблюдений» и «Конверсия при нулевой гипотезе», затем остальные обязательные параметры.
3. Сравните основные и дополнительные результаты, проверьте ограничения метода.