Метод наименьших квадратов. Лекция №4. Корреляционный и регрессионный анализ.

Суть метода наименьших квадратов (МНК) заключается в следующем:

искомая функция должна быть построена так, чтобы сумма квадратов отклонений у _i - ординат всех экспериментальных точек от - ординат графика функции была бы минимальной.

Иными словами нужно свести к минимуму функцию S:

S

Может возникнуть вопрос, а именно почему сумма квадратов? Дело в том, что, во-первых, квадрат любого числа всегда неотрицателен, и, следовательно, сумма квадратов всегда не отрицательна, т.е. ограничена снизу, и, следовательно, у нее есть минимум.

Ведь иметь в двух точках отклонение в 5 единиц, лучше, чем в первой точке иметь нулевое отклонение, зато во второй точке иметь отклонение 10. Сумма отклонений в обоих случаях будет одинаковой, а вот сумма квадратов отклонений в первом случае будет меньше.

Для отыскания минимума функции S приравняем нулю соответствующие частные производные:

.

Выполнив элементарные преобразования, получим систему двух линейных уравнений относительно а и b:

Решения этой системы уравнений можно записать в следующем, удобном для расчетов виде:

(1)

Получив значения a и b, можно составить уравнение линейной зависимости вида

и построить график этой зависимости:

Как видно из рисунка, прямая довольно неплохо вписывается в набор экспериментальных точек.

Данные рисунки получены с помощью MS Excel. Полученный график называется трендом. Английское слово trend можно перевести как общее направление, или тенденция.

(Кстати, обычно b называют коэффициентом регрессии. Коэффициент регрессии показывает, на сколько единиц в среднем изменяется переменная Y при увеличении переменной Х на одну единицу.)

Пример. Построить график зависимости по данным n =8 наблюдений, которые получены при изучении зависимости количества продаж лекарственного средства «Амбробене» у от затрат на рекламу этого товара х(в млн. руб):

Решение. Экспериментальные данные изобразим в виде точек на координатной плоскости. Соединим полученные точки. По виду ломанной можно предположить наличие линейной зависимости между двумя рассматриваемыми переменными, которая графически выражается тем точнее, чем больше объем выборки
Для построения линии тренда составим расчетную таблицу:

Найдем искомые параметры, для чего подставим вычисленные по таблице суммы в соотношения (1):

а = (61,5 × 541,75 – 510,25 ×59,50)/ (8 ×541,75 – 3540,25) = 3,73,
b = (8 × 510,25 – 59,50 × 61,50)/ (8 ×541,75 – 3540,25) = 0,53.
Таким образом, уравнение тренда имеет вид

.

Построенная линия тренда позволяет с некоторой вероятностью не только предсказать в интервале от х =1,5 до х =12,5 любые значения функции у при отсутствующих в таблице значениях фактора х, но и за пределами данного интервала.