Формула для расчета коэффициентов регрессии в матричном виде

Фиктивные переменные.

В большинстве случаев независимые переменные в регрессионных моделях имеют непрерывные области изменения. Однако теория не накладывает никаких ограничений на характер коэф-тов регрессии, в частности, некоторые переменные могут принимать всего два значения или в более общей ситуации – множество дискретных значений. Необходимость рассмотрения таких переменных возникает в случаях, когда необходимо оценить какой либо качественный признак, т. е. Когда факторы, вводимые в ур-ие регрессии являются кач-ми и не измеряются по числовой шкале. Например, при исследовании зависимости з/п от различных факторов может возникнуть вопрос, влияет ли на ее размер наличие у работника высшего образования; существует ли дискриминация в оплате труда женщин и мужчин. Одним из возможных решений данного примера является оценка отдельных регрессий для каждой категории, а затем изучение различий между ними. Другой подход состоит в оценке единой регрессии с использованием всей совокупности наблюдений и измерений степени влияния качественного фактора посредством введения фиктивной переменной. Она является равноправной переменной наряду с др-ми переменными моделями. Ее фиктивность заключается лишь в том, что она количеств-м образом описывает качественный признак. Второй подход обладает след. преимуществами: 1) это простой способ проверки, является ли воздействие качественного признака значимым; 2) при условии выполнения опред. предположений регрессионной оценки оказывается более эффективным.

 

Мультиколлинеарность

Слово «коллинеарность» описывает линейную связь между двумя независимыми переменными, тогда как «мультиколлинеарность» – между более чем двумя переменными. На практике всегда используется один термин. Термин «мультиколлинеарность» введен Рагнаром Фришем.

Виды мультиколлинеарности

1. Строгая (perfect) мультиколлинеарность – наличие линейной функциональной связи между независимыми переменными (иногда также и зависимой).

2. Нестрогая (imperfect) мультиколлинеарность – наличие сильной линейной корреляционной связи между независимыми переменными (иногда также и зависимой).

Формула для расчета коэффициентов регрессии в матричном виде.

 

Представим данные наблюдений и коэффициенты модели в матричной форме.

Здесь Y — n-мерный вектор-столбец наблюдений зависимой переменной; X — матрица размерности n х (m +1), в которой i-я строка i = 1, 2,..., n представляет i-е наблюдение вектора значений независимых переменных X₁, X₂,...,Xm, единица соответствует переменной при свободном члене b₀; B — вектор-столбец размерности (m + 1) параметров уравнения множественной регрессии; e — вектор-столбец размерности n отклонений выборочных значений y_i зависимой переменной от значений y_i, получаемых по уравнению регрессии:

В матричном виде соотношение примет вид:

Согласно методу наименьших квадратов:

где e^T = (e₁, e₂,..., e_n), т. е. надстрочный значок T означает транспонированную матрицу.

Можно показать, что предыдущее условие выполняется, если вектор-столбец коэффициентов B найти по формуле:

Здесь X^T — матрица, транспонированная к матрице X,

(X^TX)^-1 — матрица, обратная к (X^TX). Соотношение справедливо для уравнений регрессии с произвольным количеством m объясняющих переменных