Метод наименьших квадратов

Вычисляют выборочную дисперсию, характеризующую меру разброса опытных данных (x_i; y_i) вокруг значений регрессии, то есть дисперсию остатков

.

Знаменатель показывает число степеней свободы. Оно определяется как разность между объемом выборки и числом параметров регрессии, подлежащих оценке. Стандартной ошибкой регрессии называется

.

Стандартная ошибка должна быть минимальна, это равносильно условию:

.                       (1)

Геометрическая интерпретация формулы (1) следующая: сумма площадей заштрихованных квадратов должна быть наименьшей.

 

Пусть ŷ_i = b₀ + b₁x₁; i = 1, 2, …, n; тогда

 и надо найти b₀ и b_1.

Для наличия экстремума S(b₀; b₁) необходимо выполнение равенств:

                              (2)

Для вторых частных производных функции S(b₀; b₁) справедливы соотношения:

Существование минимума обеспечивается выполнением условия:

После преобразований уравнений (2) получаем систему двух уравнений первой степени (систему нормальных уравнений) относительно неизвестных b₀ и b₁:

                                  (3)

Применяя к ней правило Крамера, получаем:

Получить b₀ и b₁ из уравнений (3) можно по-другому. Первое из уравнений системы почленно разделим на n. Тогда

; или

, откуда ;

;    .

Коэффициент регрессии b₁ можно представить следующим образом:

, где

- ковариация между переменными x и y, - дисперсия переменной x.

Вычислим коэффициенты регрессии общей суммы налогового сбора (переменная y) на сумму поступлений налога на добавленную стоимость по несгруппированным данным:

Время наблюдения	№ наблюдения	y (общая сумма налогов и платежей в консолидированный бюджет РФ), млрд. руб.	x (общая сумма поступлений в консолидированный бюджет РФ по НДС), млрд. руб.	xi2	yi2	xiyi
январь	1	38,9	13,4	179,56	1513,21	521,26
февраль	2	45,3	15,4	237,16	2052,09	697,62
март	3	61,1	16,7	278,89	3733,21	1020,37
апрель	4	70,4	16,2	262,44	4956,16	1140,48
май	5	63,8	13,0	169	4070,44	829,4
июнь	6	67,7	15,0	225	4583,29	1015,5
июль	7	70,6	20,8	432,64	4984,36	1468,48
август	8	78,9	16,4	268,96	6225,21	1293,96
сентябрь	9	73,2	17,4	302,76	5358,24	1273,68
октябрь	10	78,1	23,6	556,96	6099,61	1843,16
ноябрь	11	103,0	23,9	571,21	10609	2461,7
декабрь	12	133,4	34,4	1183,36	17795,56	4588,96
Σ		884,4	226,1	4667,94	71980,4	18154,6

 

График уравнения регрессии y на x выглядит следующим образом:

 

 

Экономические явления обычно находятся во взаимодействии, то есть переменная y зависит от переменной x, и наоборот, переменная x зависит от переменной y. В этом случае говорят о логически обратимой регрессии. При переходе от одной зависимости к другой нельзя из уравнения

выразить x выразить через y, так как эмпирические точки лежат не на прямой, а подвержены рассеянию и фиксированному значению x может соответствовать несколько значений y и наоборот.

Уравнения регрессии  и не выводимы друг из друга. Они задают сопряженные регрессионные прямые.

Построим регрессию x на y для рассматриваемого нами примера.

;

График регрессии x на y будет выглядеть следующим образом:

 

Совместим графики регрессии x на y и y на x:

Регрессионные прямые образуют «ножницы». По величине раствора ножниц можно судить приблизительно о степени зависимости обеих переменных. Чем более раскрыты ножницы, тем слабее связь. Если обе прямые регрессии пересекаются под прямым углом, то эмпирические данные не позволяют подтвердить гипотезу о существовании зависимости между переменными. Если отсутствует регрессия x на y, то не существует также регрессии y на x, и наоборот. При b₁ = 0 обязательно b₁^* = 0 и обратно.