Метод наибольшего правдоподобия

Рассмотренный выше метод моментов приводит обычно к относительно простым формулам для оценки параметров, однако в ряде случаев эти оценки малоэффективны или вовсе несостоятельны. Например, для применения метода моментов теоретические моменты должны существовать, что не для всех распределений выполняется. Например, у распределения Коши, имеющего плотность

,

все моменты бесконечны.

Поэтому необходимы и другие методы, лишенные отмеченных недостатков.

Метод наибольшего правдоподобия обладает важным достоинством: он всегда приводит к состоятельным оценкам, имеющим наибольшую точность. Этот метод наилучшим образом использует всю информацию о неизвестных параметрах распределения, имеющуюся в выборке. Однако на практике он часто приводит к необходимости решать весьма сложные системы уравнений.

Метод наибольшего правдоподобия был предложен Р.Фишером, одним из основоположников математической статистики и является наиболее обоснованным и проверенным методом, широко используемом в математической статистике.

Случай дискретных распределений. Рассмотрим случай оценки параметра распределения дискретной случайной величины X, вероятности значений которой определяются согласно распределению , где - неизвестный параметр, который нужно оценить по выборке .

Функция

называется функцией правдоподобия. Если число случаев, когда случайная величина X приняла значения равно соответственно , где - размер выборки, то функция правдоподобия

.

Согласно методу наибольшего правдоподобия в качестве оценки неизвестного параметра принимается то значение, при котором функция правдоподобия принимает наибольшее значение для данной выборки. То есть в качестве оценки для берется наиболее вероятное значение для данной выборки.

Это значение находится в результате решения уравнения

.

Практически удобнее находить максимум функции ln(L), тогда соответствующее уравнение примет вид:

 

.

Это уравнение принято называть уравнением правдоподобия. Решение этого уравнения дает максимум функции правдоподобия, если для него выполняется условие

.

Если распределение имеет два пара параметра и , то есть имеет вид , то для оценки этих параметров используются система из двух уравнений правдоподобия:

.

При большем числе параметров число подобных уравнений соответственно увеличивается.

Проиллюстрируем применение метода наибольшего правдоподобия на примерах.

Пример 1. При n- кратном повторении опыта событие А проявилось m раз. Оценим вероятность события А по методу наибольшего правдоподобия. Будем считать, что случайная величина X принимает значение 1, если произошло событие А и 0, если произошло противоположное событие .

Согласно (8.1.1) функция правдоподобия в данном случае имеет вид:

,

где - оцениваемая вероятность.

После логарифмирования получаем, что

.

После дифференцирования по получаем следующее уравнение:

,

после решения которого получаем, что

.

Крышечкой сверху будем отличать оценку параметра от его точного значения.

Пример 2. Рассмотрим случай оценки параметра дискретной случайной величины Х, распределенной по закону Пуассона

Согласно (8.1.1) функция правдоподобия равна

.

После логарифмирования получаем

.

После дифференцирования получаем:

,

Откуда

,

где - статистическая вероятность того, что X=i.

Таким образом, в качестве оценки параметра а распределения Пуассона следует брать статистическое среднее выборки.

Случай непрерывных распределений. Если случайная величина X имеет непрерывную плотность распределения , где - параметр распределения, который нужно оценить по выборке реализаций этой случайной величины , то в этом случае функция правдоподобия

.

Согласно методу наибольшего правдоподобия наилучшей оценкой параметра является значение, для которого функция правдоподобия достигает максимума.

Если функция дифференцируема по , то это значение находится из уравнения

.

Практически удобнее пользоваться логарифмической формой этого уравнения

.

Это уравнение называется уравнением правдоподобия.

Если плотность распределения случайной величины X имеет два параметра и , то есть имеет вид , то оценки наибольшего правдоподобия находятся из системы двух уравнений

К сожалению, эти уравнения не всегда дают явные выражения для оценок параметров и их приходится решать численными методами.

Если область определения плотности зависит от параметров, то максимум функции правдоподобия может достигаться на границе этой области. В этом случае надо анализировать непосредственно функцию правдоподобия.

Если уравнение правдоподобия имеет несколько корней, то надо брать то решение, при котором функция правдоподобия максимальна.

Пример 3. Оценим данным методом параметр показательного распределения случайной величины T по выборке ее реализаций .

В этом случае , а функция правдоподобия

.

Уравнение правдоподобия в этом случае имеет вид:

.

В результате решения этого уравнения получаем, что оценка наибольшего правдоподобия

.

Пример 4. Оценим параметры случайной величины Х, распределенной по нормальному закону с плотностью

по выборке реализаций .

Функция правдоподобия в этом случае равна

,

а уравнения правдоподобия:

Из первого уравнения получаем, что

.

Из второго уравнения получаем, что

.

В данном случае оценки наибольшего правдоподобия совпали с ранее выведенными оценками по методу моментов. Но это не всегда так.