Метод наименьших квадратов

Пусть в результате получена таблица значений функции для ряда значений независимой переменной :

				…
				…

Если точки , , , …, примерно располагаются на одной прямой, это означает, что зависимость между и близка к линейной: . Подберем неизвестные коэффициенты и так, чтобы в каком-то смысле она наилучшим образом описывала рассматриваемый процесс.

Широко распространенным методом решения данной задачи является метод наименьших квадратов. Этот метод заключается в следующем.

Рассмотрим сумму квадратов разностей значений , даваемых экспериментом, и функции в соответствующих точках, т. е.

Подбираем параметры и так, чтобы эта сумма имела наименьшее значение. Поскольку и – постоянные, то указанная сумма есть функция параметров и :

Чтобы найти значения параметров и , воспользуемся необходимыми условиями экстремума функции двух переменных: найдем частные производные от по переменным и и приравниваем их к нулю:

Параметры и найдем из этой системы. Для этого перепишем ее в следующем виде:

Для определения чисел и получили систему двух уравнений перовой степени. Можно доказать, что эта система всегда имеет единственное решение и что для найденных чисел и функция достигает минимума. Подставляя найденные значения и в уравнение , получим линейную функцию, наилучшим образом отражающую зависимость между величинами и , полученными из опыта.