II. Доверительный интервал для дисперсии.

войства оценок максимального правдоподобия.

Если существует эффективная оценка, то она является оценкой, полученной по методу максимального правдоподобия (МП оценкой или ОМП).
Если функция правдоподобия имеет единственный достижимый локальный максимум в области , то МП оценка является:

а) состоятельной,

б) асимптотически эффективной,

в) асимптотически нормальной.

ояснения.

Оценка неизвестного параметра является асимптотически нормальной, если она имеет асимптотически нормальное распределение, т.е.:

имеет распределение .

асимптотически эффективна, т.е. .

Величина – это информация Фишера, т.е. количество информации о параметре , заключенное в выборке объема .

Для всех состоятельных и несмещенных оценок параметра всегда выполняется неравенство Рао-Крамера:

, или ,

где , – оценка параметра .

Отметим, что в дискретном случае, т.е. когда выборка получена из дискретного распределения величина равна:

Если несмещенная оценка превращает неравенство Рао-Крамера в равенство, то она является эффективной оценкой, т.е.

Пример. Можно показать, что оценка математического ожидания нормально распределенной совокупности , , …, , является эффективной.

Имеем: .

Тогда , т.е. .

При этом известно (см. выше), что . Отсюда следует, что и значит оценка является эффективной оценкой математического ожидания для всех нормальных распределений. Аналогично можно показать (проделайте это сами), что оценка является эффективной оценкой для математического ожидания распределения Пуассона и параметра показательного распределения вида .

Доверительное (интервальное) оценивание

Доверительным интервалом (интервальной оценкой) числовой характеристики или параметра генеральной совокупности с доверительной вероятностью (доверительным уровнем или коэффициентом доверия) называется интервал со случайными границами , , который накрывает параметр с вероятностью , т.е.:

Итак, и – доверительные границы, равные некоторым статистикам , а – доверительная вероятность, и – уровень значимости. Обычно берут равным , , , .

Для параметрической функции интервальную оценку можно записать так:

Таким образом, задача доверительного оценивания состоит в том, чтобы определить границы и для параметрической функции .

Если известна статистика , связывающая параметр и ее точечную оценку , и закон распределения этой статистики , тогда доверительный интервал строят таким образом, чтобы дополнительные интервалы и накрывали с вероятностями . По распределению находят квантили и распределения порядков и , и тогда:

. Найдя обратную функцию для , строго возрастающую по , получим:

, т.е. , . Чем ближе к единице, тем больше длина доверительного интервала.

Здесь , .

Оценки параметров нормального распределения

Рассмотрим выборку , полученную из нормального распределения . Можно рассмотреть отдельно две нормальных модели: в первой неизвестным параметром является , а во второй – , т.е. рассмотрим отдельно модели и . Тогда, для первой модели можно использовать следующую оценку параметра : , а во второй модели оценка параметра будет: .

Если рассматривается модель , то тогда обычно используют оценки: и или .

I. Доверительный интервал для математического ожидания.

Рассмотрим два случая, когда – второй параметр распределения, известен и когда он не известен.

1. Пусть (дисперсия ), известна, т.е. рассматривается модель . Если , то , При этом, случайная величина (согласно центральной предельной теореме) имеет нормальное распределение , а отсюда случайная величина имеет нормальное распределение .

Выборочное распределение случайной величины симметрично относительно параметра , поэтому в таких случаях целесообразно рассматривать доверительный интервал симметричным относительно параметра , т.е. . Из теории вероятностей известно, что для нормально распределенной с.в.

где подчинена закону , – функция Лапласа. Тогда

где – квантиль нормального распределения уровня . Используя и выделяя в явном виде в формуле слева, получим следующий доверительный интервал для :

где – доверительный интервал для . Его можно переписать и так:

Отметим свойство квантилей нормального распределения: , т.е. или . Фактически здесь берутся две квантили порядков и , как и было указано выше. Покажем графически расположение этих квантилей на следующем рисунке.

2. Пусть неизвестна. Если распределена по нормальному закону с неизвестной дисперсией , тогда используя оценки и дисперсии (выборочная несмещенная дисперсия), то случайная величина имеет распределение Стьюдента (так называемое -распределение) с степенями свободы. Случайную величину часто называют стьюдентовской дробью.

По таблицам распределения Стьюдента при заданном коэффициенте доверия можно найти квантиль такую, что

Отсюда доверительный интервал для имеет вид:

Из свойств распределения Стьюдента известно, что уже при это распределение близко к нормальному . В этом случае вместо квантилей -распределения используют квантили нормального стандартного распределения .

Построенные доверительные интервалы для математического ожидания при конечном объеме выборки были выведены в предположении, что генеральная совокупность имеет нормальный закон распределения. При больших объемах выборки, когда , распределение случайной величины (по центральной предельной теореме) асимптотически приближается к нормальному. Тогда построенные в пунктах 1 и 2 доверительные интервалы можно приближенно применять к оценке математического ожидания генеральной совокупности , подчиняющейся произвольному закону распределения.

II. Доверительный интервал для дисперсии.

Пусть генеральная совокупность подчинена нормальному закону . Нужно рассмотреть отдельно два случая, когда (математическое ожидание ) известно и не известно.

1. Пусть известно, т.е. рассматривается нормальная модель , где параметрическая функция . Возьмем в качестве точечной оценки выборочную дисперсию ,т.е. и рассмотрим случайную величину . Имеем: . Здесь случайная величина имеет нормальное стандартное распределение . Известно, что случайная величина имеет -распределение (хи-квадрат) с степенями свободы. Отсюда следует, что статистика также подчиняется распределению хи-квадрат с степенями свободы. Построим доверительный интервал так, чтобы вероятности выхода за интервал слева и справа были бы одинаковы и равны . Тогда

или ,

где , – квантили распределения хи-квадрат с степенями свободы уровней и соответственно. Далее, из формулы выше получим:

где – доверительный интервал для дисперсии .

2. Пусть математическое ожидание неизвестно, т.е. рассматривается нормальная модель , где параметрическая функция , а – математическое ожидание. В этом случае в качестве точечной оценки удобно взять выборочную несмещенную дисперсию , т.е. , где . Случайная имеет распределение хи-квадрат с степенью свободы. Поэтому, при заданной доверительной вероятности имеем:

Преобразовав здесь неравенство в скобках, получим

т.е. доверительный интервал для дисперсии имеет вид:

или , где .

римеры.

1) Проанализировать выборку из нормального распределения, если , , , .

Оценим математическое ожидание :

2) Оценим дисперсию выборки, когда , , , , при этом считаем неизвестным, тогда

Интервальные оценки параметров распределений Бернулли и Пуассона

1. Пусть – выборка из биномиального распределения с неизвестным параметром – вероятностью успеха в одном испытании Бернулли. Здесь – число успехов в схеме Бернулли, ; . По методу максимального правдоподобия проведем поиск точечной оценки . Для функции имеем:

Тогда функция правдоподобия равна:

Пусть в испытаниях Бернулли успех наступил раз. Найдем оценку вероятности успеха в этих испытаниях. Из формул выше следует, что

– относительная частота успеха в схеме испытаний Бернулли.

По центральной предельной теореме случайная величина имеет асимптотически нормальное распределение . Тогда статистика будет иметь асимптотически нормальное распределение независимо от значения . При больших получим:

Отсюда придем к доверительному интервалу с коэффициентом доверия для вероятности успеха в схеме Бернулли:

2) Пусть – выборка из пуассоновского распределения с неизвестным параметром . Так как и в качестве точечной оценки параметра обычно берут выборочное среднее, т.е. , то рассматривая случайную величину (которая имеет асимптотически нормальное распределение ) и так как из ЦПТ получим (при больших ):

Выполняя преобразования в полученной формуле, придем к следующему доверительному интервалу для параметра :