Идея метода наименьших квадратов
Для набора точек (xᵢ; yᵢ) рассматривают прямую y = a + b·x и считают остатки eᵢ = yᵢ − (a + b·xᵢ). Лучшей считается прямая, у которой сумма Σeᵢ² минимальна. Квадраты выбраны потому, что они не позволяют положительным и отрицательным отклонениям гасить друг друга и делают задачу решаемой в явном виде.
Приравняв частные производные суммы квадратов по a и по b к нулю, получают два линейных уравнения. Их решение даёт b = Σ(xᵢ − x̄)(yᵢ − ȳ) / Σ(xᵢ − x̄)² и a = ȳ − b·x̄. Из второй формулы следует, что прямая обязательно проходит через точку средних.
Пошаговый пример
Пусть x = 1, 2, 3, 4, 5 и y = 2,1; 3,9; 6,2; 7,8; 10,1. Средние: x̄ = 3, ȳ = 6,02. Отклонения по x: −2, −1, 0, 1, 2, по y: −3,92; −2,12; 0,18; 1,78; 4,08. Сумма произведений отклонений равна 7,84 + 2,12 + 0 + 1,78 + 8,16 = 19,9, знаменатель Σ(x − x̄)² = 10.
Наклон b = 1,99, свободный член a = 6,02 − 1,99·3 = 0,05. Прогноз в точке x = 6 равен 0,05 + 11,94 = 11,99. Эти числа можно сверить с калькулятором, подставив значения из примера.
Коэффициент детерминации R²
R² = 1 − SSE/SST сравнивает прямую с самой простой моделью — горизонтальной линией на уровне среднего ȳ. Здесь SSE — сумма квадратов остатков прямой, SST — сумма квадратов отклонений Y от среднего. Если SSE мал по сравнению с SST, прямая объясняет почти весь разброс, и R² близок к единице.
Для одной объясняющей переменной R² совпадает с квадратом коэффициента корреляции Пирсона. Значение 0,9 означает, что 90% дисперсии Y объяснено линейной зависимостью от X, но ничего не говорит о причинах связи и о том, что остальные 10% случайны.
Когда прямая обманывает
Известный набор Энскомба состоит из четырёх выборок с практически одинаковыми средними, прямой y ≈ 3 + 0,5x и R² ≈ 0,67, хотя графики совершенно разные: у одной выборки зависимость кривая, у другой всё решает единственная выбивающаяся точка. Поэтому цифры регрессии всегда нужно смотреть вместе с графиком точек.
Опасна и экстраполяция. Если данные собраны при x от 1 до 5, прогноз при x = 50 строится на предположении, что линейность сохранится на порядок дальше, а это допущение ничем не подтверждено. Прогнозируйте преимущественно внутри диапазона наблюдений.
Особенности ввода в калькуляторе
Значения X нужно вводить по возрастанию без повторов, а список Y должен иметь ту же длину. Числа разделяются пробелами или точкой с запятой, десятичная часть записывается точкой. Точек может быть от 2 до 100.
Если все значения Y равны, наклон нулевой, а R² принимается равным единице, так как отклонений нет. Если X не различаются, прямую построить нельзя, но ввод с неповторяющимися X этого случая не допускает.
Формула расчёта
b = Σ(xᵢ − x̄)(yᵢ − ȳ) / Σ(xᵢ − x̄)², a = ȳ − b·x̄, R² = 1 − SSE / SST
Проверенные примеры
Для x = 1…5 получены y = 2,1; 3,9; 6,2; 7,8; 10,1. Найдите прямую и прогноз при x = 6.
x̄ = 3, ȳ = 6,02, Σ(x − x̄)(y − ȳ) = 19,9, Σ(x − x̄)² = 10. Наклон b = 1,99, свободный член a = 6,02 − 1,99·3 = 0,05. Прогноз при x = 6: 0,05 + 11,94 = 11,99.
Точки (0; 1), (1; 3), (2; 5) лежат на одной прямой. Каковы a, b и R²?
Прямая y = 1 + 2x, отклонений нет, поэтому SSE = 0 и R² = 1.
Как пользоваться онлайн-калькулятором
- Введите значения X по возрастанию, затем соответствующие значения Y.
- Укажите X, для которого нужен прогноз по прямой.
- Нажмите «Рассчитать» и прочитайте a, b, прогноз и R².