Состоятельность,т.е. устойчивость относительно увеличения размера выборки.

Основные предпосылки метода наименьших квадратов

Свойства оценок МНК

Найденные с помощью МНК оценки b_j параметров β_j модели линейной регрессии являются случайными величинами. Теоретически их можно представить как сумму истинного значения β_j и некоторой случайной ошибки ∆b_j (т.е. разложить на неслучайную и случайную составляющие). Для доказательства справедливости этого утверждения в формулу

вместо вектора Y подставим его выражение: .

Получим:

,

где I – единичная матрица,

= ∆b_j – вектор ошибки оценок параметров b_j.

Таким образом, свойства коэффициентов регрессии существенно зависят от свойств возмущения.

Доказано, что для получения с помощью метода наименьших квадратов наилучших результатов необходимо выполнение так называемых основных предпосылок относительно случайной составляющей (возмущения), известных как условия Гаусса-Маркова.

 

Предпосылки МНК

 

1. истинная форма взаимосвязи между зависимой переменной Y и объясняющими переменными X_j является линейной:

.

2. X – неслучайная переменная. Это означает, что мы имеем фиксированный набор значений х _i.

3. Математическое ожидание случайной составляющей (возмущения) должно быть равно нулю: Е(e_i) = 0 для всех наблюдений.

Данное условие означает, что случайное отклонение в среднем не оказывает влияния на зависимую переменную. Выполнимость этого условия влечет выполнимость соотношения:

.

 

4. Дисперсия возмущения e_i должна быть постоянной для всех наблюдений:

D(e_i) = s_e²для всех i.

Это так называемое условие гомоскедастичности (homoscedasticity) или равноизменчивости возмущения (зависимой переменной).

Случай, когда условие гомоскедастичности не выполняется, называется гетероскедастичностью (heteroscedasticity).

Поскольку

D(e_i) = Е(e_i – Е(e_i))² = Е(e_i²),

то данную предпосылку можно переписать в виде:

Е(e_i²) = s_e²для всех i.

 

Величина s_e² (иногда она обозначается просто s²) неизвестна (ее в регрессии оценивают с помощью остатков). Условие гомоскедастичности подразумевает, что несмотря на то, что при каждом конкретном наблюдении случайное отклонение может быль либо большим, либо меньшим, не должно быть априорной причины, чтобы оно порождало бо¢льшую ошибку в одних наблюдениях, чем в других.

5. Случайные составляющие e_i и e_j должны быть независимы друг от друга для i ¹ j, т.е. между ними должна отсутствовать автокорреляция.

Это условие предполагает отсутствие систематической связи между значениями возмущения в любых двух наблюдениях. Например, если возмущение велико и положительно в одном наблюдении, то это не должно обусловливать систематическую тенденцию к тому, что оно будет большим и положительным в следующем наблюдении.

Математически это условие записывается так (с учетом предпосылки 3):

Cov (e_i, e_j) = Е[(e_i – Е(e_i)(e_j – Е(e_j)] = Е(e_i e_j) = 0, i ¹ j.

 

6. Возмущение и независимые (объясняющие) переменные не связаны между собой. Обычно это условие выполняется автоматически, если объясняющие переменные не являются случайными в данной модели.

Если это условие выполнено, то теоретическая ковариация между независимой переменной и случайной составляющей модели равна нулю:

.

7. Возмущения описываются нормальным законом распределения.

Если e нормально распределено, то и коэффициенты регрессии тоже нормально распределены. Это позволяет проводить проверку статистической надежности и определять доверительные интервалы для параметров b₀, b₁, используя t- и F- критерии.

8. В случае множественной регрессии добавляется еще одно допущение – отсутствие мультиколлинеарности между независимыми переменными, что означает невозможность представления какой-либо независимой переменной в виде линейной комбинации остальных. (Мультиколлинеарность означает наличие тесной линейной зависимости между независимыми переменными модели).

9. Модель является линейной относительно параметров.

 

Если выполняются основные предпосылки классической модели линейной регрессии, то оценки коэффициентов, полученные с помощью МНК, являются BLUE, что означает:

B (best) – наилучшая; L (linear) – линейная;

U (unbiased) – несмещенная; E (estimator) – оценка.

наилучшая – оценка, имеющая наименьшую дисперсию из всех возможных несмещенных оценок. Теорема Гаусса – Маркова доказывает, что полученная с помощью МНК оценка является наилучшей: исследуется альтернативная произвольная линейная оценка и показывается, что ее дисперсия в любом случае окажется не меньше, чем дисперсия МНК-оценки.

Линейная – свойство линейной функциональной зависимости оценки от выборочных наблюдений.

Несмещенная – математическое ожидание оценки равно параметру генеральной совокупности.

Альтернативная формулировка желаемых свойств полученных оценок (близкая BLUE) – это требование состоятельности, несмещенности и эффективности.

Рассмотрим формулировку этих свойств.

 

Свойства МНК-оценок

Состоятельность,т.е. устойчивость относительно увеличения размера выборки.

Оценка b неизвестного параметра b называется состоятельной, если по мере роста числа наблюдений n (т.е. при n ®¥) она стремится по вероятности к истинному значению оцениваемого параметра b, т.е. если для сколь угодно малой d > 0 Рr í÷b – b÷ > d ý ® 0 при n ® ¥.

Заметим, что достаточными условиями состоятельности оценки q*_n параметра q являются следующие ее свойства:

1) смещение В_n = [ Е(b) - b ] оценки b равно нулю или стремится к нулю при n ® ¥;

2) дисперсия оценки D(b) удовлетворяет условию .

Требование состоятельности представляется необходимым для того, чтобы оценка имела практический смысл (так как в противном случае увеличение объема исходной информации не будет «приближать нас к истине»), а следовательно, это свойство должно проверяться в первую очередь. Иначе говоря, состоятельной называется такая оценка, которая дает точное значение для большой выборки независимо от входящих в нее конкретных наблюдений.

Но следует иметь в виду, что это асимптотическое (по числу наблюдений) свойство, т.е. оно может проявляться лишь при столь больших объемах выборок, до которых мы в нашей практике «не добираемся». Кроме того, часто можно предложить несколько состоятельных оценок одного и того же параметра. Поэтому для полной характеристики надежности оценки свойство состоятельности надо дополнить рассмотрением других свойств.

 

Несмещенность

Как уже отмечалось, значения оценок лишь по случайному совпадению могут в точности равняться характеристикам генеральной совокупности. Обычно будет присутствовать определенная ошибка, которая может быть большой или малой, положительной или отрицательной, в зависимости от чисто случайных составляющих величин х в выборке. Исследователь, понятно, желает, чтобы математическое ожидание оценки равнялось соответствующей характеристике генеральной совокупности. Если это так, то оценка называется несмещенной. Если это не так, то оценка называется смещенной, и разница между ее математическим ожиданием и соответствующей теоретической характеристикой генеральной совокупности называется смещением.

Более строгое определение: оценка b неизвестного параметра b называется несмещенной, если при любом объеме выборки n результат ее осреднения по всем возможным выборкам данного объема приводит к точному истинному значению оцениваемого параметра, т. е. E(b) = b.

Если оценка является смещенной, и это смещение удалось определить, то оно легко устраняется.

· Эффективность

Несмещенность – желательное свойство оценок, но это не единственное такое свойство. Еще одна важная сторона – это надежность. Предположим, что мы имеем две оценки параметра b, рассчитанные на основе одной и той же информации (разными методами), что обе они являются несмещенными и что их функции плотности вероятности показаны на рис. 1.

 

Функция плотности

вероятности

 

b

Рис. 1. Эффективные и неэффективные оценки

 

Поскольку функция плотности вероятности для оценки В более «сжата», чем для оценки А, то с ее помощью можно скорее получить более точное значение. Формально говоря, эта оценка более эффективна.

Оценка b неизвестного параметра b называется эффективной, если среди всех прочих оценок того же самого параметра она обладает наименьшей дисперсией. То есть, если оценка эффективная, то распределениеее значений сосредоточено вокруг истинной величины оцениваемого параметра.

Изучение того, как меняются свойства формул оценивания при ослаблении предпосылок классической модели, представляет собой исходный момент собственно эконометрического анализа.

В центре нашего внимания находятся три вопроса, относящиеся к каждой из предпосылок модели:

1. Как изменится свойство формулы оценивания, если ослабить данную предпосылку?

2. Как практически проверить обоснованность использования той или иной предпосылки?

3. Если предпосылки модели не выполняются, то как они могут быть изменены, чтобы сохранить полезные свойства получаемых оценок?

 

Итак, при выполнении основных предпосылок классической регрессии МНК-оценки обладают свойствами несмещенности, состоятельности и эффективности, т.е. являются наилучшими линейными несмещенными оценками. Это значит, что в классе всех линейных несмещенных операторов оценивания оценки наименьших квадратов обладают наименьшей дисперсией.

С помощью регрессионного анализа при указанных предположениях 1) - 5) находят оценки параметров регрессии, наиболее хорошо согласующиеся с опытными данными.

Разность между b₀ и b₀, b₁ и b₁, возникающая за счет оценивания на основе имеющихся в распоряжении опытных данных, называется ошибкой оценки. При выборе процедуры оценивания стараются эту ошибку сделать как можно меньше. Оценки, удовлетворяющие этому требованию, называются хорошими. Методы оценивания называются также хорошими, если их результатами являются оценки с желательными свойствами.