Линейная модель парной регрессии и корреляции

Рассмотрим простейшую модель парной регрессии – линейную регрессию. Линейная регрессия находит широкое применение в эконометрике ввиду четкой экономической интерпретации ее параметров.

Линейная регрессия сводится к нахождению уравнения вида

 

или .

(4)

 

Уравнение вида  позволяет по заданным значениям фактора  находить теоретические значения результативного признака, подставляя в него фактические значения фактора .

Построение линейной регрессии сводится к оценке ее параметров –  и . Классический подход к оцениванию параметров линейной регрессии основан на методе наименьших квадратов (МНК). МНК позволяет получить такие оценки параметров  и , при которых сумма квадратов отклонений фактических значений результативного признака  от теоретических  минимальна:

 

.

(5)

 

Т. е. из всего множества линий линия регрессии на графике выбирается так, чтобы сумма квадратов расстояний по вертикали между точками и этой линией была бы минимальной в соответствии с рис. 2.

Рис. 2. Линия регрессии с минимальной дисперсией остатков

Как известно из курса математического анализа, чтобы найти минимум функции (5), надо вычислить частные производные по каждому из параметров  и  и приравнять их к нулю. Обозначим  через , тогда

(6)

После несложных преобразований получим следующую систему линейных уравнений для оценки параметров  и :

 

(7)

 

Решая систему уравнений (7), найдем искомые оценки параметров  и . Можно воспользоваться следующими готовыми формулами, которые следуют непосредственно из решения системы (7):

 

, ,

(8)

 

где  – ковариация признаков  и ,

 – дисперсия признака  и

 

, , , .

 

Ковариация – числовая характеристика совместного распределения двух случайных величин, равная математическому ожиданию произведения отклонений этих случайных величин от их математических ожиданий. Дисперсия – характеристика случайной величины, определяемая как математическое ожидание квадрата отклонения случайной величины от ее математического ожидания. Математическое ожидание – сумма произведений значений случайной величины на соответствующие вероятности.

Параметр  называется коэффициентом регрессии. Его величина показывает среднее изменение результата с изменением фактора на одну единицу.

Возможность четкой экономической интерпретации коэффициента регрессии сделала линейное уравнение регрессии достаточно распространенным в эконометрических исследованиях.

Формально  – значение  при . Если признак-фактор  не может иметь нулевого значения, то вышеуказанная трактовка свободного члена  не имеет смысла, т. е. параметр  может не иметь экономического содержания.

Уравнение регрессии всегда дополняется показателем тесноты связи. При использовании линейной регрессии в качестве такого показателя выступает линейный коэффициент корреляции , который можно рассчитать по следующим формулам:

 

.

(9)

 

Линейный коэффициент корреляции находится в пределах . Чем ближе абсолютное значение  к единице, тем сильнее линейная связь между факторами (при  имеем строгую функциональную зависимость). Но следует иметь в виду, что близость абсолютной величины линейного коэффициента корреляции к нулю еще не означает отсутствия связи между признаками. При другой (нелинейной) спецификации модели связь между признаками может оказаться достаточно тесной.

Для оценки качества подбора линейной функции рассчитывается квадрат линейного коэффициента корреляции , называемый коэффициентом детерминации. Коэффициент детерминации характеризует долю дисперсии результативного признака , объясняемую регрессией, в общей дисперсии результативного признака

 

,

(10)

 

где , .

Соответственно величина  характеризует долю дисперсии , вызванную влиянием остальных не учтенных в модели факторов.

После того как найдено уравнение линейной регрессии, проводится оценка значимости как уравнения в целом, так и отдельных его параметров.

Проверить значимость уравнения регрессии – значит установить, соответствует ли математическая модель, выражающая зависимость между переменными, экспериментальным данным и достаточно ли включенных в уравнение объясняющих переменных (одной или нескольких) для описания зависимой переменной. Чтобы иметь общее суждение о качестве модели из относительных отклонений по каждому наблюдению, определяют среднюю ошибку аппроксимации:

 

.

(11)

 

Средняя ошибка аппроксимации не должна превышать 8–10 %.

Оценка значимости уравнения регрессии в целом производится на основе -критерия Фишера, которому предшествует дисперсионный анализ. В математической статистике дисперсионный анализ рассматривается как самостоятельный инструмент статистического анализа. В эконометрике он применяется как вспомогательное средство для изучения качества регрессионной модели.

Согласно основной идее дисперсионного анализа общая сумма квадратов отклонений переменной  от среднего значения  раскладывается на две части – «объясненную» и «необъясненную»:

 

,

(12)

 

где  – общая сумма квадратов отклонений;

 – сумма квадратов отклонений, объясненная регрессией (или факторная сумма квадратов отклонений);

 – остаточная сумма квадратов отклонений, характеризующая влияние неучтенных в модели факторов.

Схема дисперсионного анализа имеет вид, представленный в табл. 2 (  – число наблюдений,  – число параметров при переменной ).

Т а б л и ц а 2.Схема дисперсионного анализа

Компонент  дисперсии	Сумма квадратов	Число степеней свободы	Дисперсия на одну степень свободы
Общая
Факторная
Остаточная

 

Определение дисперсии на одну степень свободы приводит дисперсии к сравнимому виду. Сопоставляя факторную и остаточную дисперсии в расчете на одну степень свободы, получим величину -критерия Фишера:

 

.

(13)

 

Фактическое значение -критерия Фишера (2.10) сравнивается с табличным значением  при уровне значимости  и степенях свободы  и . При этом, если фактическое значение -критерия больше табличного, то признается статистическая значимость уравнения в целом.

Для парной линейной регрессии , поэтому

 

.

(14)

        

Величина -критерия связана с коэффициентом детерминации , и ее можно рассчитать по формуле

 

.

(15)

 

В парной линейной регрессии оценивается значимость не только уравнения в целом, но и отдельных его параметров. С этой целью по каждому из параметров определяется его стандартная ошибка:  и .

Стандартная ошибка коэффициента регрессии определяется по формуле

 

,

(16)

 

где  – остаточная дисперсия на одну степень свободы.

Величина стандартной ошибки совместно с - распределением Стьюдента при  степенях свободы применяется для проверки существенности коэффициента регрессии и для расчета его доверительного интервала.

Для оценки существенности коэффициента регрессии его величина сравнивается с его стандартной ошибкой, т. е. определяется фактическое значение  - критерия Стьюдента: , которое затем сравнивается с табличным значением при определенном уровне значимости  и числе степеней свободы . Доверительный интервал для коэффициента регрессии определяется как . Поскольку знак коэффициента регрессии указывает на рост результативного признака  при увеличении признака-фактора  (), уменьшение результативного признака при увеличении признака-фактора () или его независимость от независимой переменной () (рис. 3), то границы доверительного интервала для коэффициента регрессии не должны содержать противоречивых результатов, например, . Такого рода запись указывает, что истинное значение коэффициента регрессии одновременно содержит положительные и отрицательные величины и даже ноль, чего не может быть.

Рис. 3. Наклон линии регрессии в зависимости от значения параметра

 

Стадартная ошибка параметра  определяется по формуле:

 

.

(17)

 

Процедура оценивания существенности данного параметра не отличается от рассмотренной выше для коэффициента регрессии. Вычисляется -критерий: , его величина сравнивается с табличным значением при  степенях свободы.

Значимость линейного коэффициента корреляции проверяется на основе величины ошибки коэффициента корреляции

 

.

(18)

                                                                              

Фактическое значение -критерия Стьюдента определяется как .

Существует связь между -критерием Стьюдента и -критерием Фишера:

 

.

(19)

 

В прогнозных расчетах по уравнению регрессии определяется предсказываемое  значение как точечный прогноз  при , т. е. путем подстановки в уравнение регрессии y = a + bx соответствующего значения . Однако точечный прогноз явно не реален. Поэтому он дополняется расчетом стандартной ошибки , т. е. , и соответственно интервальной оценкой прогнозного значения :

,

где , а  – средняя ошибка прогнозируемого индивидуального значения

 

.

(20)

 

Рассмотрим пример. По данным проведенного опроса восьми групп семей (табл. 3) известны данные связи расходов населения на продукты питания с уровнем доходов семьи за месяц на семью из четырех человек.

Т а б л и ц а 3.Исходные данные

Показатель	Значения
Расходы на продукты питания, , тыс. р.	9	12	18	22	26	29	33	38
Доходы семьи, , тыс. р.	12	31	53	74	96	118	145	187

Предположим, что связь между доходами семьи и расходами на продукты питания линейная. Для подтверждения нашего предположения построим поле корреляции в масштабе (у/10; x/10).

Рис. 4. Исходные данные

По графику видно, что точки выстраиваются в некоторую прямую линию.

Для удобства дальнейших вычислений составим таблицу в масштабе (x/10; y/10).

Т а б л и ц а 4.Пример расчета

Число наблюдений									, %
1	2	3	4	5	6	7	8	9	10
1	1,2	0,9	1,08	1,44	0,81	1,038	–0,138	0,0190	15,33
2	3,1	1,2	3,72	9,61	1,44	1,357	–0,157	0,0246	13,08
3	5,3	1,8	9,54	28,09	3,24	1,726	0,074	0,0055	4,11
4	7,4	2,2	16,28	54,76	4,84	2,079	0,121	0,0146	5,50
5	9,6	2,6	24,96	92,16	6,76	2,449	0,151	0,0228	5,81
6	11,8	2,9	34,22	139,24	8,41	2,818	0,082	0,0067	2,83
7	14,5	3,3	47,85	210,25	10,89	3,272	0,028	0,0008	0,85
8	18,7	3,8	71,06	349,69	14,44	3,978	–0,178	0,0317	4,68
Итого	71,6	18,7	208,71	885,24	50,83	18,717	–0,017	0,1257	52,19
Среднее значение	8,95	2,34	26,09	110,66	6,35	2,34	–	0,0157	6,52
	5,53	0,935	–	–	–	–	–	–	–
	30,56	0,874	–	–	–	–	–	–	–

 

Рассчитаем параметры линейного уравнения парной регрессии . Для этого воспользуемся формулами (8):

 

;

 

.

 

, .

Получили уравнение: = 0,836 + 0,168·x. Т. е. с увеличением дохода семьи на 1000 р. расходы на питание увеличиваются на 168 р.

Как было указано выше, уравнение линейной регрессии всегда дополняется показателем тесноты связи – линейным коэффициентом корреляции . Для этого воспользуемся формулой (9)

 

.

 

Близость коэффициента корреляции к 1 указывает на тесную линейную связь между признаками.

Коэффициент детерминации  (примерно тот же результат получим, если воспользуемся формулой (10)) показывает, что уравнением регрессии объясняется 98,7 % дисперсии результативного признака, а на долю прочих факторов приходится лишь 1,3 %.

Оценим качество уравнения регрессии в целом с помощью -критерия Фишера. Сосчитаем фактическое значение -критерия, воспользовавшись формулой (15)

 

.

 

Табличное значение (, , ): . Так как , то признается статистическая значимость уравнения в целом.

Для оценки статистической значимости коэффициентов регрессии и корреляции рассчитаем -критерий Стьюдента и доверительные интервалы каждого из показателей. Рассчитаем случайные ошибки параметров линейной регрессии и коэффициента корреляции

:

 

,

 

,

 

.

        

Фактические значения -статистик:

 

, , .

 

Табличное значение -критерия Стьюдента при  и числе степеней свободы  есть . Так как ,  и , то признаем статистическую значимость параметров регрессии и показателя тесноты связи. Рассчитаем доверительные интервалы для параметров регрессии  и :  и . Получим, что  и .

Cреднюю ошибку аппроксимации находим по формуле ,  говорит о хорошем качестве уравнения регрессии, т. е. свидетельствует о хорошем подборе модели к исходным данным.

И, наконец, найдем прогнозное значение результативного фактора  при значении признака-фактора, составляющем 110 % от среднего уровня , т. е. найдем расходы на питание, если доходы семьи составят 9,85 тыс. р.

 

     (тыс. р.).

 

Значит, если доходы семьи составят 9,845 тыс. р., то расходы на питание будут 2,490 тыс. р.

Найдем доверительный интервал прогноза. Ошибка прогноза

 

,

 

а доверительный интервал ():

.

Т. е. прогноз является статистически надежным. Теперь на одном графике изобразим исходные данные и линию регрессии.

 

Рис. 5. Линия регрессии

Варианты индивидуальных заданий

 

По территориям региона приводятся данные за 2009 г. (см. таблицу своего варианта).

Требуется:

1. Построить линейное уравнение парной регрессии  от .

2. Рассчитать линейный коэффициент парной корреляции и среднюю ошибку аппроксимации.

3. Оценить статистическую значимость параметров регрессии и корреляции с помощью -критерия Фишера и -критерия Стьюдента.

4. Выполнить прогноз заработной платы  при прогнозном значении среднедушевого прожиточного минимума , составляющем 107% от среднего уровня.

5. Оценить точность прогноза, рассчитав ошибку прогноза и его доверительный интервал.

6. На одном графике построить исходные данные и теоретическую прямую.

Вариант 1

Номер региона	Среднедушевой прожиточный минимум в день одного  трудоспособного, р.,	Среднедневная заработная плата, р.,
1	81	124
2	77	131
3	85	146
4	79	139
5	93	143
6	100	159
7	72	135
8	90	152
9	71	127
10	89	154
11	82	127
12	111	162

 

Вариант 2

Номер региона	Среднедушевой прожиточный минимум в день одного  трудоспособного, р.,	Среднедневная заработная плата, р.,
1	74	122
2	81	134
3	90	136
4	79	125
5	89	120
6	87	127
7	77	125
8	93	148
9	70	122
10	93	157
11	87	144
12	121	165

 

 

Вариант 3

Номер региона	Среднедушевой прожиточный минимум в день одного трудоспособного, р.,	Среднедневная заработная плата, р.,
1	77	123
2	85	152
3	79	140
4	93	142
5	89	157
6	81	181
7	79	133
8	97	163
9	73	134
10	95	155
11	84	132
12	108	165

 

 

Вариант 4

Номер региона	Среднедушевой прожиточный минимум в день одного трудоспособного, р.,	Среднедневная заработная плата, р.,
1	83	137
2	88	142
3	75	128
4	89	140
5	85	133
6	79	153
7	81	142
8	97	154
9	79	132
10	90	150
11	84	132
12	112	166

 

Вариант 5

Номер региона	Среднедушевой прожиточный минимум в день одного  трудоспособного, р.,	Среднедневная заработная плата, р.,
1	79	134
2	91	154
3	77	128
4	87	138
5	84	133
6	76	144
7	84	160
8	94	149
9	79	125
10	98	163
11	81	120
12	115	162

 

Вариант 6

Номер региона	Среднедушевой прожиточный минимум в день одного  трудоспособного, р.,	Среднедневная заработная плата, р.,
1	92	147
2	78	133
3	79	128
4	88	152
5	87	138
6	75	122
7	81	145
8	96	141
9	80	127
10	102	151
11	83	129
12	94	147

 

 

Вариант 7

Номер региона	Среднедушевой прожиточный минимум в день одного  трудоспособного, р.,	Среднедневная заработная плата, р.,
1	75	133
2	78	125
3	81	129
4	93	153
5	86	140
6	77	135
7	83	141
8	94	152
9	88	133
10	99	156
11	80	124
12	112	156

 

 

Вариант 8

Номер региона	Среднедушевой прожиточный минимум в день одного трудоспособного, р.,	Среднедневная заработная плата, р.,
1	69	124
2	83	133
3	92	146
4	97	153
5	88	138
6	93	159
7	74	145
8	79	152
9	105	168
10	99	154
11	85	127
12	94	155

 

 

Вариант 9

Номер региона	Среднедушевой прожиточный минимум в день одного трудоспособного, р.,	Среднедневная заработная плата, р.,
1	78	133
2	94	139
3	85	141
4	73	127
5	91	154
6	88	142
7	73	122
8	82	135
9	99	142
10	113	168
11	69	124
12	83	130

 

 

Вариант 10

Номер региона	Среднедушевой прожиточный минимум в день одного трудоспособного, р.,	Среднедневная заработная плата, р.,
1	97	161
2	73	131
3	79	135
4	99	147
5	86	139
6	91	151
7	85	135
8	77	132
9	89	161
10	95	159
11	72	120
12	115	160