9.Метод наименьших квадратов.

Метод наименьших квадратов

Наш мир не идеален, ни в чем нельзя быть уверенным с абсолютной точностью. Кто помнит лабораторные работы по физике, тот должен знать, что измерение какой-либо физической величины обычно проводят несколько раз при различных условиях, а найденный результат записывают в виде 20,3±2,3. Это необходимо для того, чтобы нейтрализовать погрешности приборов, трясущиеся руки экспериментатора, вспышки на солнце и так далее.

Метод наименьших квадратов (далее МНК), о котором пойдет речь в этой статье, является одним из способов противостоять ошибкам измерений.

Общая формулировка метода выглядит так:

Пусть имеется система уравнений:

Здесь f(x) эта некая функция, конкретный вид которой не известен, известен лишь ее общий вид, например известно что это прямая, или многочлен, или синусоида и так далее. МНК позволяет зная общий вид функции найти ее конкретный вид (коэффициенты) который наилучшим образом вписывается в экспериментальные данные.

Особенностью МНК является то, что число уравнений превышает число неизвестных коэффициентов в функции f(x). Таким образом, в общем случае точного решения системы не существует.

Обратите внимание, что система решается не относительно xn, а относительно неизвестных коэффициентов функции f(x).

Основная идея МНК состоит в том, чтобы при нахождении конкретного вида функции минимизировать сумму квадратов ошибок во всех исходных уравнениях.

Иными словами нужно свести к минимуму функцию:

Может возникнуть вопрос почему сумма квадратов? Дело в том, что во-первых, квадрат любого числа всегда неотрицателен, и следовательно сумма квадратов всегда не отрицательна, т.е. ограничена снизу, а следовательно у нее есть минимум; во-вторых, при нахождении минимальной суммы квадратов мы уменьшаем максимальную ошибку.

Согласитесь, что иметь в двух точках ошибку в 5 единиц, лучше, чем в первой точке иметь нулевое отклонение, зато во второй точке иметь отклонение 10. Сумма отклонений в обоих случаях будет одинаковой, а вот сумма квадратов отклонений в первом случае будет меньше.