Ошибки прогнозов. Коэффициент корреляции Пирсона. Коэффициент детерминации.

Лабораторная работа №4

Линейная регрессия.

Основные положения теории.

Простая модель линейной регрессии.

Очень часто исследователя интересует связь между переменными. Это помогает при анализе их поведения. В этой главе будет разрабо­тана модель для описания связи между переменными с математичес­кой точки зрения. Начнем с наиболее простых для анализа линейных уравнений.

Существует или нет линейная связь между двумя переменными x, y.Проводим случайную выборку. При значениях x₁, x₂, …, x_n мы наблю­даем значения y₁, y₂, …, y_n соответственно. На плоскости O xy отметим точки с координатами (x₁, y₁), (x₂, y₂), …, (x_n, y_2n).

Предположим, что точки группируются вокруг некоторой прямой линии

y = a + bx.

Тогда:

Точки не находятся точно на линии y = a + bx. Но это неудиви­тельно. Ведь помимо x на поведение y оказывают влияние и другие факторы. Дальнейший анализ полученного уравнения позволяет сказать, насколько сильно влияние неучтенных факторов, действи­тельно ли модель линейна и т. д. На переменные x, y накладывается ряд условий. Для описания природы связи используется термин «ре­грессия». Коэффициент b называется показателем наклона линии ли­нейной регрессии.

Ошибки прогнозов. Коэффициент корреляции Пирсона. Коэффициент детерминации.

Проводим случайную выборку. При значениях x₁, x₂, …, x_n мы на­блюдаем значения y₁, y₂, …, y_n соответственно. Получено уравне­ние = a + bx. Если вместо х подставить в это уравнение значения x₁, x₂, …, x_n, то будут получены значения ₁, ₂, …, _n, которые, вообще говоря, будут отличаться от y₁, y₂, …, y_n. Разница y_i - _i, = е_i называет­ся ошибкой (остатком, отклонением). Значения коэффициентов a и b в уравнении y = a + bx, которые рассчитывались по приведенным в пункте 1 формулам, подбирались так, чтобы минимизировать сумму . Говорят, что они получены методом наименьших квадратов (МНК).

Мы хотим знать, насколько хорошо приближает наши данные ли­нейная модель.

Формула y = a + bx только частично объясняет вариацию значе­ний y (а именно, слагаемое Но ведь на y влияют и другие фак­торы. Их влияние скрыто в остатке е_i. Если бы связь была строго линейной, то е_i = 0. И так для каждой точки x_i.

– это общая вариация переменной у.

– это вариация переменной у, которая объясняется формулой y = a + bx.

– это вариация переменной у, которая не объясняется формулой y = a + bx.

Введем характеристику - коэффициент детерминации. Эта мера показывает величину вариации переменной y, кото­рая объясняется переменной x при наличии линейной связи этих ве­личин. В случае строгой линейной зависимости между x и у r² = 1. Если зависимость между x и y отсутствует, то r² = 0.

 

Коэффициент детерминации не указывает причины и следствия. Он просто является математическим выражением взаимосвязи меж­ду переменными и показывает степень их взаимосвязанных измене­ний, хотя в экономической теории и можно постулировать причин­но-следственную связь между этими переменными.

 

Коэффициент корреляции Пирсона:

Коэффициент характеризует наличие только линейной связи между признаками, обозначаемыми, как правило, символами X и Y. Формула расчета коэффициента корреляции построена таким образом, что, если связь между признаками имеет линейный характер, коэффициент Пирсона точно устанавливает тесноту этой связи. Поэтому он называется также коэффициентом линейной корреляции Пирсона. Если же связь между переменными X и Y не линейна, то Пирсон предложил для оценки тесноты этой связи так называемое корреляционное отношение.

Знак коэффициента корреляции Пирсона r совпадает со знаком коэффициента b. Чем ближе r к 1, тем ближе связь между x и y к линейной. При r = 0 линейной связи между x и y не существует (но, возможно, между x и y есть другая зависимость).

Сильная корреляция между переменными необязательно указы­вает на причину и следствие. Например, может быть установлена сильная корреляция между зарплатой учителя и продажей спиртных напитков. Отсюда никак нельзя сделать вывод, что учителя пьют. Просто обе эти величины связаны через другую переменную – общий уровень наличного дохода. Это пример ложной корреляции.

3. Предсказания и прогнозы на основе линейной модели регрессии

Мы можем воспользоваться построенной моделью для нахожде­ния значения у при известном значении х. Модель строилась по зна­чениям x₁, x₂, …, x_n. Поэтому поиск значения у для х из интервала (х₁, x_n) называется предсказанием, а поиск значения у для x вне интер­вала (х₁, x_n) называется прогнозом. Чем дальше расположен x от интер­вала (х₁, x_n), тем менее точным будет прогноз.