Точечные оценки. Методы нахождения точечных оценок

При точечном оценивании ищут статистику , (т.е. функцию, зависящую только от выборки ), значение которой при заданной выборке принимают за приближенное значение параметра . В этом случае статистику называют оценкой параметра .

Обосновать качество оценки можно лишь исходя из ее свойств, не зависящих от конкретной выборки. Для изучения таких свойств (естественно, вероятностного характера) в соответствии с замечанием из п. 1.1. под оценкой следует понимать случайную величину . Выбор из множества оценок одного и того же параметра наилучшей основан на критерии сравнения качества оценок, предложенном Р.А.Фишером. Согласно этому критерию оценка должна быть:

1) состоятельной, т. е. с возрастанием объема выборки должна сходиться по вероятности к истинному неизвестному значению параметра : ;

2) несмещенной, т. е. математическое ожидание должно быть равно оцениваемому параметру : ;

3) эффективной, т. е. должна обладать минимальной дисперсией в рассматриваемом классе оценок.

Величина называется смещением оценки . Таким образом, оценка является несмещенной тогда и только тогда, когда ее смещение . Оценка , у которой при , называется асимптотически несмещенной.

Достаточным условием состоятельности несмещенной оценки в силу неравенства Чебышева является стремление к нулю ее дисперсии:

при .

Эффективность оценки позволяет исследовать следующее неравенство Рао-Крамера: для широкого класса непрерывных распределений и для любой несмещенной оценки , имеющей конечную дисперсию, справедливо неравенство:

,

где - плотность вероятностей наблюдаемой случайной величины , - информация Фишера о параметре , содержащаяся в одном наблюдении над случайной величиной .

Таким образом, оценка является эффективной, если она обращает неравенство Рао-Крамера в равенство, т.е. .

Наиболее распространенными методами получения точечных оценок неизвестных параметров распределений, удовлетворяющих требованиям 1 - 3 (хотя бы частично), являются метод моментов и метод максимального правдоподобия.

Метод моментов. Пусть - выборка из генеральной совокупности, имеющей функцию распределения , зависящую от векторного параметра . Предположим, что у наблюдаемой случайной величины существуют первые моментов которые являются функциями от : . Метод моментов состоит в нахождении решения системы уравнений, получаемой приравниванием теоретических моментов соответствующим выборочным моментам:

.

Для нахождения оценки может быть использована также система уравнений, основанных на приравнивании центральных теоретических и выборочных моментов:

.

Использование именно первых r моментов является необязательным.

В случае двумерного неизвестного параметра его оценка по методу моментов обычно определяется как решение системы уравнений:

Оценки, получаемые по методу моментов являются:

- состоятельными (при весьма общих предположениях);

- несмещенными не всегда;

- вообще говоря, неэффективными.

На практике оценки, получаемые по методу моментов, часто используются как первое приближение, на основе которого находятся более «хорошие» оценки.

Достоинство метода моментов заключается в том, что системы уравнений для нахождения оценок решаются довольно просто. Однако имеет место произвол в выборе уравнений для нахождения оценок и метод вообще неприменим, когда моментов необходимого порядка не существует (пример, - закон распределения Коши).

Метод максимального правдоподобия. Пусть - выборка из генеральной совокупности, имеющей функцию распределения , зависящую от неизвестного скалярного параметра .

Если закон распределения наблюдаемой случайной величины является непрерывным, т.е. существует плотность вероятностей , то функция

,

рассматриваемая при фиксированной выборке как функция параметра , называется функцией правдоподобия.

Если наблюдаемая случайная величина имеет дискретный закон распределения, задаваемый вероятностями , то функция правдоподобия определяется равенством:

.

Оценкой максимального правдоподобия параметра называется такое значение параметра, при котором функция правдоподобия при заданной выборке достигает максимума:

Если функция правдоподобия дифференцируема по , то оценку максимального правдоподобия можно найти, решив относительно уравнение правдоподобия

или равносильное уравнение

.

Если - векторный параметр, то для отыскания оценки максимального правдоподобия следует решить систему уравнений правдоподобия

Все изложенные результаты остаются в силе и при оценивании не самого параметра , а некоторой параметрической функции .

Оценки максимального правдоподобия являются:

- состоятельными;

- асимптотически эффективными;

- несмещенными не всегда;

- асимптотически нормальными, т.е. при соответствующей нормировке закон распределения оценки максимального правдоподобия является нормальным (что очень важно для нахождения вероятностей отклонения их от истинных значений параметров).

Однако уравнения (системы уравнений) для нахождения оценок максимального правдоподобия могут решаться довольно сложно.

Интервальные оценки

На практике ограничиться нахождением «хороших» точечных оценок бывает обычно недостаточно. Приближенное равенство лишь указывает на то, что вместо неизвестного параметра можно использовать известное значение оценки . Однако важно знать (хотя бы в вероятностном смысле) величину совершаемой при этом ошибки. Для этого прибегают к построению интервальных оценок неизвестных параметров.

Пусть наблюдаемая величина имеет функцию распределения , зависящую от неизвестного параметра . При интервальном оценивании параметра ищут две такие статистики и ( и - случайные величины!), для которых при заданном выполняется соотношение

.

В этом случае интервал называют - доверительньм интервалом для параметра , число - доверительной вероятностью (надежностью, коэффициентом доверия), и - нижней и верхней доверительными границами соответственно.

Таким образом, -доверительный интервал — это случайный интервал, зависящий от выборки (но не от ), который содержит (накрывает) истинное значение неизвестного параметра с вероятностью . На практике обычно используют значения доверительной вероятности из небольшого набора близких к 1 значений (0,9; 0,95; 0,98; 0,99 и т. д.) и строят соответствующие им доверительные интервалы.

Построение доверительных интервалов для отдельных параметров распределения генеральной совокупности зависит как от вида закона распределения, так и от того, являются известными значения остальных параметров распределения или нет.

· Если наблюдаемая случайная величина имеет нормальный закон распределения с неизвестным математическим ожиданием и известной дисперсией , то доверительный интервал для математического ожидания имеет вид:

,

где - выборочное среднее; - объем выборки; число - такое значение аргумента функции Лапласа при котором . Находят число по заданной доверительной вероятности из табл. П2.

Квантилью, соответствующей вероятности , называется такое значение , при котором выполняется соотношение

,

где – плотность вероятностей соответствующего закона распределения (слово квантиль – женского рода). Геометрическое пояснение смысла квантили, отвечающей вероятности , приведено на рис. 2.

Рис. 2. Геометрическое пояснение смысла квантили ,

отвечающей вероятности

В этой терминологии число есть (1+g)/2 - квантиль стандартного нормального N (0,1) закона распределения.

· Если наблюдаемая случайная величина имеет нормальный закон распределения с неизвестным математическим ожиданием и неизвестной дисперсией , то доверительный интервал для математического ожидания имеет вид:

где - выборочная дисперсия; ; - объем выборки; число – - квантиль распределения Стьюдента с
(n —1) степенью свободы. Находят квантиль по заданным и из табл. ПЗ.

При больших (практически при ) распределение Стьюдента приближается (в смысле слабой сходимости) к стандартному нормальному закону распределения, поэтому в этом случае .

· Доверительный интервал для дисперсии наблюдаемой случайной величины , распределенной по нормальному закону , при известном математическом ожидании имеет вид:

где числа есть квантили распределения хи - квадрат с n степенями свободы соответственно. Квантили распределения хи - квадрат находят по заданным и из табл.П4.

· Доверительный интервал для дисперсии наблюдаемой случайной величины , распределенной по нормальному закону , при неизвестном математическом ожидании имеет вид:

где - выборочная дисперсия, а – соответствующие квантили распределения .

При больших (практически при ) с использованием центральной предельной теоремы можно показать, что приближенным (асимптотическим) доверительным интервалом для дисперсии нормально распределенной случайной величины с неизвестным математическим ожиданием является интервал

Фактически это означает, что для квантилей распределения хи - квадрат и при имеют место приближенные формулы:

Если распределение наблюдаемой случайной величины произвольное (не обязательно нормальное), то, используя асимптотическую нормальность выборочных моментов, можно показать, что при больших объемах выборки приближенными (асимптотическими) доверительными интервалами для математического ожидания и дисперсии являются:

где - выборочное среднее; - выборочная дисперсия; ; - выборочный центральный момент четвертого порядка.

Замечание: Все приведенные доверительные интервалы, рассчитанные для заданной выборки , являются обычными числовыми интервалами, внутри которых неизвестный параметр находится в 100% случаев.