Тема 3. Метод наименьших квадратов (МНК) для парной линейной регрессии

 

Рассмотрим задачу регрессионного анализа: будем восстанавливать линейную регрессионную зависимость величины Y от величины X в форме

Y=a+b·X+ε,

где ε -случайная величина, соответствующая ожидаемой ошибке, погрешности. Воспользуемся данными { Y _i,X _i, i=1,…,n } по проявлениям выявляемой зависимости в аналогичных условиях (при n ≥ 2). Например, по данным m предыдущих периодов о ценах, объемах сбыта {c_j,k_j, j=1,…,m} подберем регрессионную зависимость k = a×c+b +ε. Значения параметров функции a, b, найдем, минимизируя «видимые» ошибки-отклонения «прогнозов по функции» от «факта»– по методу наименьших квадратов (МНК):

min ∑ (a+b·X _i – Y _i)²

^{a,b i=1,…,n}

(для указанного выше примера о ценах, объемах сбыта, в частности, МНК примет вид

min ∑ (k_j – (a×c_j+b))²).

^{a,b j=1,…,m}

Согласно необходимому условию экстремума приравняем частные производные нулю, получим два уравнения:

 

∑ [2×(a+b·X _i – Y _i)× X _i ] = 0, ∑ [2×(a+b·X _i – Y _i)] = 0

^{i=1,…, n i=1,…, n}

 

(∑ [2×(a×c_j+b – k_j)×c_j ] = 0, ∑ [2×(a×c_j+b – k_j)] = 0).

^{j=1,…,m j=1,…,m}

 

Откуда следует в общем случае, что

 

b = (n ×∑ X _i × Y _i – (∑ X _i) × (∑ Y _i)) / (n ×∑ X _i ²-(∑ X _i)²),

 

a = Y ₀ – b × X ₀,

где

X ₀=(1/ n) ×∑ X _j, Y ₀=(1/ n) ×∑ Y _i.

Второе уравнение означает, что регрессионная прямая проходит через точку со средними значениями.

Если рассмотреть отклонения от средних х_i= X_i-X ₀, у_i= Y _i-Y ₀, то нетрудно убедиться, что средние величины для новых величин равны нулю. Тангенс угла наклона при этом не меняется, а значит можно пользоваться следующими формулами для расчета коэффициентов (параметров парной линейной регрессионной модели)

 

b = ∑ (X _j – X ₀) × (Y _j – Y ₀) / ∑ (X _j – X ₀)², a = Y ₀ – b × X ₀

^{j=1,…,n j=1,…,n}

(а = ∑ (c_j – c₀) × (k _j – k ₀) / ∑ (c_j – c₀)², b = k₀ – а × с₀).

^{j=1,…,m j=1,…,m}

Обозначим в общем случае

X ₁ Y ₁1 e ₁

X= [ …], Y = [ …], s= [ …], e= [ …], Y^ = a·s + b·X, e = Y - Y^

X _n Y _n1 e _n

Y^-вектор, натянутый на единичный вектор s, и вектор детерминированных величин X.

Геометрически экстремальное условие становится условием «ортогональности» вектора e векторам s, X (здесь и ниже, ’ -признак транспонированности):

 

s’ e=0, X’ e=0.

 

Рассмотрим матрицу размерности (nX2)

 

1 X ₁ Y ₁

X= [ …… ]; Y = [ …], β= [a,b] ’ - векторы «фактов» и искомых параметров

1 X _n Y _n

 

зависимости. Тогда условие «ортогональности» примет еще более компактный вид:

X’ e=0

или

 

X’ (Y - X β)=0.

 

Откуда получим:

X’ Y - X’ X β=0.

 

или (здесь, А^-1 -обратная матрица к матрице А)

 

X’ X)-1 X’ Y.

 

Обобщаемая на многомерный случай форма примет в двумерном случае следующий вид

 

N ∑ X _i ∑ Y _i

β = (X’ X)^-1 X’ Y = [ ] ^-1 [ ].

∑ X _i ∑ X _i² ∑ X _i Y _i

Упражнение (контрольное задание) № 1 (см.[3, с.41, Упр. 2.9]).

Пусть имеется таблица данных двух показателей (Y,X), требуется восстановить зависимость между ними в форме линейной модели регрессии 4-мя способами. Интерпретируя Y,X как «объем сбыта» и «цена», соответственно, выявить оптимальную цену для максимизации дохода, оценить границы варьирования опосредованно управляемого сбыта (оценить ожидаемые вариации и дохода при оптимальной цене).

№ п/п	(Y)	(X)
		5+N1
	32-N2

Здесь и ниже, N₁,N₂ - параметры контрольных заданий, соответствующие номеру по списку в журнале группы (цифры, равные количеству десятков и количеству единиц в номере, соответственно).

РЕШЕНИЕ(при N₁=N₂=0).

В электронной таблице Excel выполним действия, иллюстрируемые следующим образом.

Если раздел меню «Сервис/Анализ данных…» не нашёлся, то открываем (инициируем выполнение команды меню) «Сервис/Надстройки…»…

…и подключаем «Пакет анализа» (устанавливаем соответствующую «галочку»)…

После этого раздел меню «Сервис/Анализ данных…» должен найтись…

 

 

 

 

 

 

 

 

 

 

Заметим, что соответствующую эконометрическю модель принято записывать, в частности, следующим образом (применяя одинаковый способ округления):

 

Y = 79,95 – 1,63 X, R²=0,86.

(5,20) (0,23)

 

Вопросы по 3-ей теме:

3.1. Что собой представляет МНК для задачи регрессионного анализа применительно к восстановлению связи между двумя величинами? Какую форму МНК принимает применительно к выявлению зависимости спроса от цены, в частности?

3.2. Как необходимое условие экстремума позволяет найти параметры модели парной линейной регрессии в связи с применением МНК?

3.3. Почему регрессионная прямая проходит через точку со средними значениями?

3.4. Как регрессионное уравнение в отклонениях упрощает расчет коэффициента при неизвестной в искомой линейной зависимости?

3.5. Какова векторная форма «видимых» ошибок-отклонений «прогнозов» и «фактов»?

3.6. Какую форму принимает условие экстремальности по МНК для парной линейной регрессии в геометрической интерпретации?

3.7. Каков матричный вид условия ортогональности векторов отклонений прогноза и факта описываемой переменной, единичного вектора и вектора детерминированных величин (и почему этот вид таков)?