Регулярный эксперимент:
Пусть x1..xn выборкаиз P(ро)={Pθ:θ€ΘcR}-сем-во однопарам, существ мера μ доминирующая сем-во P(ро) μ>>P(ро) с плотностями Pθ условие регулярности:
Эксперимент (сем-во) наз-ся реулярным если1) Pθ непрерывно дифф-мо по θ 2) В условиях сем-ва допускаются диффер-ное под знаком ∫:
∂\∂θ∫Pθ(x~)μ(dx)=∫∂Pθ(x~)/∂θ*μ(dx)=0 3) Существ I(θ): I(θ)€(0..∞); I(θ)=∫[(Pθ’(x~))2/Pθ(x)]*μ(dx)=∫(Pθ’(x)/Pθ(x))2*Pθ(x)
[pθ’(x)=pθ(x)/∂θ]; μ(dx)=Eθ[(lnpθ(x~))’]2;pθ(x~)=L(x,θ)-ф-ция правдоп. I(θ)-информ Фишера[характеризует наск-ко сильно различаются плотности возле (.)-ки пар-ра θ] С ростом кол-ва наблюдений инфор-ция накапливается
Неравенство Рао-Крамера. Эффективные по Фишеру оценки.
Пусть X1…Xn – выборка из P ={Pθ: θ є Ĥ R} – семейство однопараметрическое, мера доминирующая семейство P: >> P с плотностями Pθ. Условие регулярности:
эксперимент (семейство) называется регулярным если:
Pθ непрерывно дифференцируема по
В условиях семейства допускается дифференцирование под знаком интеграла.
3. I(): I() (0, )
- функция правдоподобия
- информация Фишера (характеризует, насколько сильно различаются плотности возле точки параметра ).
С ростом количества наблюдений информация накапливается.
Свойства информации.
Теорема: Пусть имеются 2 независимых экспиремента:
P1 ={P1θ, θ є Ĥ} P2 ={P2θ, θ є Ĥ}
Рассмотрим экспиремент:
- т.е. 2 независимых эксперимента
Пусть оба они регулярны: и
Тогда эксперимент общий тоже регулярный, а
Док-во: Пусть исходные семейства были регулярны, тогда по св1 регулярности ρ1 и ρ2 , следовательно
Следовательно свойство 1 выполнено для ρ.
Свойство 2: Рассмотрим
Свойство 3: {сложение информации} Замечание: В условиях регулярного эксперимента (log L =0
Неравенство Рао-Крамера (теорема).
Оценка δ – разрешенная, если .
{диф-ние под знаком интеграла}
Пусть - регулярный эксперимент, причем - информация Фишера и
- разрешенная оценка, b() = - -смещение оценки . Тогда и +
-дает нижнюю границу для оценки (нер-во Крамера)
Следствие: Если - несмещенная, то
Док-во:Отметим . Поскольку - разрешенная
1-е нер-во.
Т.к.
Значение информации в знаменателе характеризует информацию в исх. данных для того, чтобы оценить параметр
Когда бывает равенство в нер-ве Рао-Крамера?
Рав-во достигается в том и только в том случае
(*)
1. Рав-во Коши-Бун-ко, когда (*) пропорц-но x - const но зависит от парам-ра, принимает разные значения
(**) - однопараметрич. экспотенциальное семейство
Т.е. рав-во возможно в случае экспотенц. сем-ва
2. Из (**) берем
Пусть эксперимент регулярен и ; если это условие выполнено, тогда . Покажем
Оценка называется эффективной по Фишеру, если
a) - несмещенная {только в эксп.семействах}
b) -только для правельных пар-ров