34.Оценивание коэффициентов аппроксимирующих полиномов при известной ковариационной матрице погрешностей измерений и известной модели, (рассмотреть случаи равноточных и неравноточных, однократных и многократных измерений), расширение класса аппроксимирующих полиномов.Будем рассматривать следующую ситуацию.Объективно существует функция y = f(x), ограниченная и дифференцируемая не менее q + 1 раз на интервале 
. Природа и происхождение этой функции могут быть различными:- этой функцией связаны между собой естественные параметры и(или) явления в природе, в обществе, в экономике и т.п.,- этой функцией описывается преобразование физических величин, происходящее в технических устройствах, таких как регуляторы, датчики, измерительные преобразователи, устройства телекоммуникаций и т.п.,- этой функцией описываются взаимосвязи параметров технических объектов, в том числе, технологических процессов в различных режимах (штатный режим работы, испытания, нештатные режимы),- этой функцией, по мнению исследователя, описываются объекты, явления, процессы, которые он моделирует на компьютере.По теореме Вейерштрасса, ограниченные и q +1 раз дифференцируемые в интервале функции могут быть сколь угодно точно аппроксимированы в этом интервале степенным (и даже обобщенным) полиномом. Понятно, что в реальном исследовании сколь угодно высокая точность достигнута быть не может, хотя стремление к максимально достижимой точности у каждого исследователя имеется. Пусть это естественное стремление выражается следующим образом.Желательно аппроксимировать реальную функцию y = f(x) полиномом степени q так, чтобы максимальное расхождение между реальной функцией и этим полиномом не превосходило пренебрежимо малой, с точки зрения исследователя, величины d> 0: 
.Поскольку, по теореме Вейерштрасса, такой полином существует при любом сколь угодно малом значении d, будем считать коэффициенты 
“истинными” и для их обозначения введем вектор этих коэффициентов 
. Степень полинома q будем считать известной. В этом случае говорят: “ модель объекта известна с точностью до параметров ”. Объектом для нас является полином, аппроксимирующий функцию y = f(x). Теперь задачей исследователя является организация такого эксперимента, в результате которого он смог бы определить значения этих коэффициентов. Необходимыми условиями выполнения такого эксперимента являются- воспроизведение с необходимой точностью значений аргумента 
, 
, в заданном диапазоне 
, или, по крайней мере, фиксация фактически реализующихся этих значений с помощью измерений с заданной или хотя бы с известной точностью,
|
- измерение с необходимой или хотя бы с известной точностью значений функции 
при всех заданных (зафиксированных) значениях аргумента.Пример графического представления результатов подобного эксперимента приведен на рис. 31. Непрерывной кривой изображен график исследуемой функции y = f(x), точки на этой кривой - суть значения 
. Для обозначения всей совокупности этих значений введем вектор 
: 
. Точки вне этой кривой - результаты измерений, для обозначения которых введем вектор 
: 
.
Будем считать, что воспроизведение (измерения) значений аргумента выполняются с настолько высокой точностью, что погрешностью результатов можно пренебречь.Будем также считать, что погрешности 
измерения значений функции суть компоненты случайного вектора 
, не содержащие систематических составляющих (математическое ожидание всех компонент равно нулю), вектор распределен в соответствии с нормальным законом: 
, где 
- его ковариационная матрица. Диагональными элементами ковариационной матрицы являются дисперсии погрешностей измерений 
. Результаты измерений образуют в совокупности случайный вектор 
, который распределен нормально 
. В случае независимости измерений ковариационная матрица диагональна. Задача состоит в том, чтобы выполнить полиномиальную аппроксимацию исследуемой функции y = f(x), то есть найти оценки коэффициентов полинома, аппроксимирующего эту функцию.Измерения значений функции при каждом значении аргумента могут быть однократными или многократными.Рассмотрим вначале случай однократных измерений, которым можно ограничиться только в том случае, если ковариационная матрица известна априори. 2.3.7.2. Измерения однократные. В соответствии с формулировкой задачи (п. 2.3.7.1) в результате эксперимента при фиксированных значениях мы получаем значения 
, 
:
Эти значения представлены на рис. 31 точками, лежащими вне кривых
Приведенная система равенств есть система k уравнений, из которой нам необходимо получить оценки q + 1 коэффициентов .
Для того, чтобы эту систему записать в матричном виде, введем матрицу
.
Тогда система уравнений записывается в виде
,
где векторы 
определены выше в п. 2.3.7.1 и
, 
.
Будем находить ММП-оценки неизвестных коэффициентов полинома. Для этого запишем k - мерную плотность распределения вектора 
:
.
Функция правдоподобия в этом случае равна
.
Максимум функции правдоподобия находится там же, где находится минимум квадратичной формы 
:
,
поэтому для нахождения ММП - оценок искомых коэффициентов будем их отыскивать путем минимизации указанной квадратичной формы. С этой целью продифференцируем ее по вектору 
и приравняем производную нулю. Напомним предварительно правила дифференцирования по вектору (см., например, [5], стр 73):
.
Пользуясь этими правилами после раскрытия скобок, получим:
,
откуда находим вектор ММП-оценок коэффициентов аппроксимирующего полинома:
.
Обратим внимание на то, что эта оценка линейно зависит от результатов измерений : 
, где 
- матрица размера (q+1)´k.
Являясь ММП-оценкой, полученный вектор есть эффективная оценка вектора коэффициентов полинома. Проверим ее несмещенность.
,
поскольку произведение взаимнообратных матриц есть единичная матрица. Несмещенность полученной оценки доказана.
Как показано в п. 2.3.7.1, ковариационная матрица вектора есть . Тогда, поскольку и в соответствии с п. 1.7.4 ковариационная матрица вектора оценок коэффициентов равна
. Производя перемножение ряда взаимнообратных матриц, находящихся в середине правой части, окончательно получим: 
.
Напомним также, что при линейном преобразовании случайных величин вид плотности распределения не изменяется (п. 1.6.7). Поэтому в связи с обнаруженной нами несмещенностью оценки 
.
Если измерения независимые, то ковариационная матрица диагональна. Если при этом измерения равноточные, когда при всех i= 1, 2,..., k 
, тогда 
, где Е - единичная матрица, 
. В этих условиях квадратичная форма, подлежащая минимизации, принимает вид 
, и
.
Компонентами вектора 
являются разности 
,и минимизируемая квадратичная форма представляет собой сумму квадратов этих разностей: 
.По этой причине приведенный метод определения коэффициентов аппроксимирующих полиномов называется методом наименьших квадратов (МНК), а получаемые этим методом оценки коэффициентов полиномов называются МНК-оценками. Общий метод оценивания коэффициентов аппроксимирующих полиномов путем минимизации квадратичной формы называется обобщенным методом наименьших квадратов (ОМНК), и оценки, вычисляемые по формуле 
, - ОМНК-оценками. Конечным итогом и целью оценивания является полином, коэффициентами которого являются найденные оценки: 
.При значениях аргумента 
этот полином принимает значения, которые суть компоненты вектора 
. График этого полинома представлен на рис. 31 пунктирной линией. В точке 
показана разность 
между результатом измерений и значением построенного полинома в этой точке. Все эти разности в совокупности для i = 1, 2,.., k составляют вектор 
.Итак, в результате выполненных операций мы определили, что квадратичная форма 
принимает минимальное значение при 
. Обозначим это минимальное значение через 
. В случае ОМНК 
. Применительно к МНК, когда , 
.В обоих вариантах величина случайна, поскольку зависит от выборочных данных. Естественно выяснить плотность распределения величины . Этот вопрос мы рассмотрим отдельно в следующем пункте. 2.3.7.3. Плотность распределения величины Начнем с рассмотрения величины ,которая вычисляется в рамках применения МНК, когда для получения оценок коэффициентов достаточно знать лишь о факте равноточности измерений, а значение дисперсии 
погрешностей измерений может быть неизвестным.
В выражении для - вектор выборочных значений, 
.Вектор 
- несмещенная ММП-оценка математического ожидания 
. В соответствии с МНК и постановкой задачи в п.. 2.3.7.1 компоненты 
вектора случайных погрешностей распределены нормально с одинаковыми параметрами 
. Поэтому компоненты вектора 
, то есть разности 
можно считать выборочными значениями погрешностей, изъятыми из одной нормальной генеральной совокупности: 
. Тогда величина 
есть не что иное, как сумма нормальных случайных величин с нулевым математическим ожиданием и единичной дисперсией. Такая сумма распределена по закону 
с числом степеней свободы, равным количеству слагаемых k без количества связей между выборочными значениями. В данном случае количество таких связей равно количеству уравнений, из которых получены оценки коэффициентов 
, то есть q + 1. Число степеней свободы поэтому равно k – q – 1. На этом основании заключаем, что 
,Таким образом, при однократных равноточных измерениях несмещенной оценкой дисперсии погрешностей этих измерений может служить величина: 
.Если k = q + 1, это выражение теряет смысл. Подобная ситуация возникает в одномерном случае, когда математическое ожидание исследуемой случайной величины неизвестно и выполняется только одно измерение, то есть n = 1. Тогда оценить характеристику разброса, каковой является дисперсия, принципиально невозможно (см. также п. 2.3.4.2. b). В случае применения ОМНК также 
.
35.Процедура оценивания коэффициентов аппроксимирующих полиномов при известной и неизвестной ковариационной матрице погрешностей и неизвестной степени полинома, (рассмотреть случаи однократных и многократных измерений). 2.3.7.5. Измерения многократные,
характеристики погрешностей измерений известны. Полагаем, что известны характеристики погрешностей измерения значений 
аппроксимируемой функции:- при равноточных измерениях - дисперсия ,- при неравноточных измерениях - ковариационная матрица .
В частном случае ковариационная матрица может быть диагональной, i - ми элементами диагонали являются дисперсии погрешностей измерения значений ппроксимируемой функции. При каждом значении аргумента 
, i = 1,2,...,k, выполняется n измерений функции. Обозначим результаты этих измерений, через 
, где j -номер эксперимента, j = 1,2,..., n. Вычисляются средние арифметические значения 
,из которых составляется вектор 
, после чего в зависимости от обстоятельств вычисляются МНК или ОМНК - оценки коэффициентов аппроксимирующего полинома по формулам п. 2.3.7.2, где вместо вектора 
следует использовать вектор 
. В силу центральной предельной теоремы плотность распределения среднего арифметического стремится к нормальной довольно быстро при любых плотностях распределения исходных погрешностей, которые не слишком сильно различаются по дисперсии (см. п. 1.6.6.4). Поэтому при многократных измерениях требование к нормальности распределения погрешностей измерений значительно смягчается.Как известно из п. 2.3.4.1, дисперсии средних арифметических 
. Точно так же из п. 2.3.4.4 следует, что ковариационная матрица вектора средних арифметических 
. В связи с этими обстоятельствами формулы пп. 2.3.7.2, 2.3.7.3 несколько изменятся. a) В случае применения МНК. 
,
, но, как и прежде, 
.
b) В случае применения ОМНК. 
, 
, 
, 
,о, как и прежде, .
2.3.7.6. Измерения многократные, характеристики погрешностей измерений неизвестны. В предыдущем пункте предполагалось, что ковариационная матрица или, по крайней мере, дисперсии погрешностей результатов измерений известны, что на практике бывает достаточно редко, особенно в отношении ковариационной матрицы.Однако, при многократных измерениях предоставляется возможность оценить дисперсии при каждом i: 
ли ковариационную матрицу в целом.Корректная оценка всех элементов ковариационной матрицы , не только диагональных, но и внедиагональныхвозможна лишь при выполнении специально организованного эксперимента.
Выполняется один цикл измерений в такой последовательности:- воспроизводится значение физической или иной величины, соответствующее первому значению аргумента 
и выполняется измерение (определение) значения функции, полученный результат - 
,- воспроизводится значение физической или иной величины, соответствующее второму значению аргумента 
и выполняется измерение (определение) значения функции, полученный результат - 
,- описанная процедура продолжается до достижения последнего, k - го значения аргумента х, таким образом будет получен первый вектор результатов измерений 
,- устанавливается значение физической величины x, превышающее значение 
, затем вновь устанавливается значение , и процесс повторяется, но в обратном порядке, при уменьшении значений x; таким образом будет получен второй вектор результатов 
,- в конечном итоге так будет получено n векторов вида 
, j = 1, 2,..., n. По этому массиву экспериментальных данных вычисляются оценки (см. пп. 2.3.4.3, 2.3.4.4): 
, 
.Оценка ковариационной матрицы построена в соответствии с ее математическим определением, приведенным в п. 1.7.3. Поскольку при реализации ОМНК эту матрицу придется обращать, она не должна быть особенной. Для этого необходимо, чтобы n > k. Но если по техническим, экономическим или иным причинам это условие выполнить невозможно, то придется ограничиться вычислением только оценок дисперсий 
при каждом значении 
. По этим значениям строится диагональная матрица 
, в диагонали которой на i - ом месте стоит оценка дисперсии 
. В таком случае не учитывается ковариация между измерениями в точках , что приводит к незначительной потере в эффективности оценок коэффициентов, но они остаютсянесмещенными (см. п. 2.3.7.4, замечание 1).После этого для вычисления оценок коэффициентов аппроксимирующего полинома применяется ОМНК с заменой во всех формулах п. 2.3.7.5 матрицы на : 
, 
, 
,
.Вследствие случайности исходных данных величина также случайна. Из-за участия в формуле для 
вместо генеральной ковариационной матрицы ее оценки в данном случае распределение “хи - квадрат” неприменимо. Вместо него здесь применяется плотность F - распределения Фишера (иногда она именуется, как плотность распределения Фишера - Снедекора), и обозначается, как 
, где 
и 
- количества степеней свободы. Плотность распределения Фишера имеет случайная величина [5] F = 
, что записывается в виде F = 
. Эта плотность распределения широко используется для сопоставления дисперсий генеральных совокупностей при дисперсионном анализе посредством исследования отношения оценок этих дисперсий. Нетрудно увидеть, что величина также, в некотором смысле есть отношение дисперсий. Функция распределения Фишера табулирована, таблицы приводятся в специальных таблицах математической статистики (например, [1,13, 14]). Из последних выражений для величины F следует, что при подготовке эксперимента по аппроксимации зависимостей необходимо обеспечивать выполнение неравенства n > k - q -1, то есть превышение количества повторных измерений над числом степеней свободы квадратичной формы 
. Иногда по техническим, экономическим или иным объективным причинам это условие оказывается невыполнимым. В таком вынужденном случае придется формировать диагональную матрицу : 
, , и применять ее при вычислении оценок коэффициентов.В этой ситуации F - распределению Фишера подчиняется случайная величина F = 
.Число степеней свободы k - q - 1 и n - 1. В частном случае, когда по результатам проверки по критерию Кочрена (п. 2.5.6.1) гипотезы о равенстве дисперсий будет принято решение о применении МНК, тогда вычисляется средняя оценка дисперсии 
,которая подставляется вместо 
во всех соответствующих формулах п. 2.3.7.5: 
, 
, И в этом случае случайная величина F = .распределена в соответствии с F - распределением Фишера с числом степеней свободы k - q - 1 и n - 1. Все замечания, сделанные выше в п. 2.3.7.4, распространяются на случаи многократных измерений в полном объеме.
