Что именно считает точный биномиальный тест
Нулевая гипотеза фиксирует вероятность успеха p₀. Если она верна, число успехов в n испытаниях подчиняется биномиальному распределению. Односторонний p-value равен сумме вероятностей всех исходов от k до n включительно.
Слово «точный» означает, что используются настоящие биномиальные вероятности. Нормальное приближение при малых n или p₀ рядом с нулём и единицей заметно ошибается, а точная сумма остаётся корректной при любых допустимых параметрах.
Формула и обозначения
p-value = Σ C(n,i)·p₀ⁱ·(1−p₀)ⁿ⁻ⁱ по i от k до n. Здесь C(n,i) показывает, сколькими способами можно выбрать i успехов среди n испытаний, а множитель p₀ⁱ·(1−p₀)ⁿ⁻ⁱ — вероятность одной такой расстановки.
Для n = 20, k = 15, p₀ = 0,5 нужно сложить шесть слагаемых, от i = 15 до i = 20. Их сумма равна 0,020695, то есть примерно 2,07%. Каждая отдельная вероятность невелика, а вместе они образуют хвост распределения.
Как принять решение по найденному значению
До анализа выберите уровень значимости α, чаще всего 0,05 или 0,01. Если p-value меньше α, данные плохо согласуются с H₀ и её отвергают в пользу одностороннего альтернативного предположения. Если больше, оснований отвергать H₀ нет, но это не доказывает её истинность.
Во втором примере 60 откликов из 100 при p₀ = 0,5 дают p-value 0,028444. При α = 0,05 гипотеза отвергается, при α = 0,01 нет. Поэтому уровень значимости обязательно фиксируют заранее, а не подбирают под результат.
Типичные ошибки при работе с p-value
Самая частая ошибка — читать p-value как вероятность того, что нулевая гипотеза верна. На деле это вероятность данных при условии H₀. Вторая ошибка — направление хвоста: если наблюдаемое k ниже ожидаемого n·p₀, хвост «k и больше» будет близок к единице и значимости не покажет.
Третья ошибка — многократные проверки на одних данных. Если сравнивать десять вариантов, один из них с вероятностью около 40% окажется «значимым» при α = 0,05 только случайно. Здесь требуется поправка на число сравнений, и калькулятор её не применяет.
Где применим расчёт и где нет
Тест подходит для проверки доли в одной выборке: брак против заявленного уровня, доля правильных ответов против случайного угадывания, отклик против исторической нормы. Испытания должны быть независимыми, а вероятность успеха — одинаковой в каждом.
Если наблюдения парные, сгруппированные по классам или сильно зависят друг от друга, биномиальная модель занижает неопределённость. Для сравнения двух групп между собой нужен другой критерий, а калькулятор проверяет только одну долю.
Размер выборки и мощность вывода
Один и тот же процент успехов ведёт к совершенно разным выводам при разном n. Доля 60% при 10 испытаниях ничем не примечательна: шесть и более успехов из десяти при p₀ = 0,5 встречаются примерно в 38% случаев. Те же 60% при 100 испытаниях уже редкость, о чём говорит p-value около 2,8%.
Поэтому перед экспериментом полезно прикинуть, сколько испытаний нужно, чтобы заметить эффект интересного вам размера. Если выборка мала, даже настоящее отклонение от p₀ может не дать малого p-value, и отсутствие значимости тогда нельзя считать подтверждением нулевой гипотезы. Это лишь недостаток данных для уверенного вывода.
Дискретность биномиального распределения тоже имеет последствия: возможных значений p-value конечное число, и точный тест консервативен, то есть реальная вероятность ложного отклонения обычно немного ниже заявленного α. Это не ошибка, а свойство точной процедуры.
Формула расчёта
p-value = P(X ≥ k) = Σ C(n,i)·p₀ⁱ·(1−p₀)ⁿ⁻ⁱ, i = k…n
Проверенные примеры
Монету подбросили 20 раз, орёл выпал 15 раз. Нулевая гипотеза: монета симметрична, p₀ = 0,5. Каков односторонний p-value?
Суммируем вероятности для i от 15 до 20 при p₀ = 0,5: p-value = 0,020695. Это около 2,1%: при α = 0,05 нулевая гипотеза отвергается в пользу «орёл выпадает чаще».
В рассылке из 100 писем 60 получателей откликнулись, а ожидалась доля 0,5. Каков односторонний p-value?
P(X ≥ 60) при n = 100, p₀ = 0,5 равно 0,028444, то есть около 2,8%. Это ниже 5%, но выше 1%, поэтому вывод зависит от выбранного α.
Как пользоваться онлайн-калькулятором
- Введите общее число испытаний n и наблюдаемое число успехов k.
- Укажите вероятность успеха p₀, заложенную в нулевую гипотезу.
- Нажмите «Вычислить» и сравните p-value с уровнем значимости α, выбранным до анализа.