Метод наименьших квадратов (МНК)

При эмпирическом (экспериментальном) изучении функциональной зависимости одной величины у от другой величины х производят ряд измерений величины у при различных значениях величины х. Результаты

могут быть представлены в виде таблицы

Х	Х₁	Х₂	…	Х_к	…	Х_N
У	У₁	У₂	…	У_к	…	У_N

или графически

Задача заключается в аналитическом представлении искомой функциональной зависимости, т.е. в подборе формулы, описывающей результаты эксперимента. Особенность задачи состоит в том, что наличие случайных ошибок измерения (или, как говорят, наличие «шума» в эксперименте) делает неразумным подбор такой формулы, которая точно описывала бы все опытные значения. Другими словами, график искомой функции не должен проходить через все точки, а должен по возможности сглаживать «шум».

Эмпирическую формулу обычно выбирают из формул определенного типа, например,

у= а х+ b, у= а х²+ b х+ с, у= а е^bх+ с, у= а +h sin (ω x+ φ), …

Другими словами, задача сводится к определению параметров а, в, с, … формулы, в то время как вид формулы известен заранее из каких-либо теоретических соображений или из простоты аналитического представления эмпирического материала.

Обозначим выбранную функциональную зависимость через

у=f(х, а ₁, а ₂, …, а _n) (1)

с явным указанием всех параметров подлежащих определению.

Эти параметры а ₁, а ₂, …, а _n нельзя определить точно по эмпирическим значениям функции у₁, у₂, …, у_n, т.к. последние содержат случайные ошибки. Речь идет только о получении «достаточно хороших» оценок искомых параметров. МНК позволяет получить несмещенные и состоятельные оценки всех параметров а ₁, а ₂, …, а _n. В наиболее часто встречающемся случае, когда эти параметры входят в формулу (1) линейно, оценки параметров, получаемые по МНК, являются также и эффективными.

Оценки параметров а ₁, а ₂, …, а _n определяются из условия, чтобы сумма квадратов отклонений измеренных значений у_к от расчетных f(x_k, а ₁, а ₂, …, а _n), т.е. величина

(2)

(где w_к веса измерений) принимала наименьшее значение.

Отыскание тех значений параметров а ₁, а ₂, …, а _n, которые доставляют наименьшее значение функции

S=S(а ₁, а ₂, …, а _n),

Сводится к решению системы уравнений

. (3)

Допустим, что эмпирическая функция ищется в виде

у=f(х, а, b)= а х+ b.

При определении параметров а и b по МНК эта прямая проходит через точку (), координаты которой являются средними значениями координат данных точек:

(4)

Поэтому уравнение прямой целесообразно записать в виде

. (5)

Параметр а определяется по формуле:

(6)

где (7)

Если все измерения производятся с одинаковой точностью (т.е. все веса w_к=1), то формула для параметров упрощаются следующим образом:

, , , .

Наиболее простой расчет получается в том случае, когда значения аргумента выбираются равноотстоящими:

(к=1, 2, …, N-1),

а измерения значений функции у_к производятся с одинаковой точностью.

В этом случае ,

а линейную функцию записывают в виде

(8)

где параметр аh вычисляется по формуле:

(9)

Пример 2.1.

Экспериментально получены восемь значений функции у=f(x) при восьми значениях аргумента, которые записаны в таблице:

Х
У	7,6	5,6	6,6	4,4	5,4	3,9	1,9	2,4

Методом наименьших квадратов (МНК) найти функцию вида у= а х+ b, выражающую (аппроксимирующую) функцию у=f(х). Сделать чертеж, на котором в декартовой прямоугольной системе координат построить экспериментальные точки и график полученной функции у= а х+ b.

М(x, y)

Решение. Значения аргумента х равноотстоящие: х_к+1-х_к=h=1 и значения у_n заданы одинаковой точностью, поэтому искомую линейную функцию записываем в виде (8)

Вычислим: ;

;

параметр аh=а вычисляется по формуле (9)

Тогда по формуле (8) имеем

или

на рисунке указаны экспериментальные точки, а прямая

у=-0,738х+8,06 проведена по точкам М(4,5; 4,725) и К(0; 8,046).

Численное интегрирование

Правило трапеций, оценка ошибки

Правило трапеций обычно применяют в том случае, когда значения функции измерены для равноотстоящих значений аргумента, т.е. представлены таблицей с постоянным шагом h:

х	у=f(х)
х₀=а	у₀
х₁=х₀+h	у₁
х₂=х₁+h	у₂
…	…
х_n=в=х_n-1+h	у_n

По правилу трапеций в качестве приближенного значения интеграла

(1)

принимают величину

, (2)

т.е. полагают . Геометрическая интерпретация правила трапеций дана на рис. 1: площадь криволинейной трапеции заменяется суммой площадей прямолинейных трапеций.

При этом, как показано на рис. 1, измеренные значения функции у_к могут не совпадать со значениями функции f(x) в точках х_к, т.к. измеренные значения функции содержат ошибки эксперимента.

Полная ошибка вычисления интеграла по правилу трапеций оценивается как сумма двух ошибок: ошибки усечения (аналитической ошибки), вызванной заменой криволинейной трапеции прямолинейными, и ошибки округления (эмпирической ошибки), вызванной ошибками измерения значений функции.

а) Ошибка усечения оценивается в зависимости от степени гладкости функции f(x) следующим образом.

1) Для функции у= f(x), непрерывной на отрезке [ a, b ],

что обеспечивает вычисление интеграла с любой наперед заданной точностью при достаточно малом шаге h.

2) Для функции у= f(x) с непрерывной производной второго порядка на отрезке [ a, b ]

, (3)

где с – некоторая точка интервала (a, b) или

, (4)

где , о(h²) есть малая более высокого порядка, чем h², при

Приближенно оценка ошибки усечения дается формулой

(5)

где Т₂_h – величина той же структуры, что и Т_h, но с двойным шагом 2h (для возможности такой оценки число интервалов n надо брать четным).

б) Ошибка округления оценивается следующим образом. В предположении, что измерения всех значений функции у_к произведены независимо друг от друга с одинаковой точностью, а именно со средней квадратической ошибкой G, средняя квадратическая ошибка величины Т_h составляет .. Если ошибки измерения более или менее точно следуют нормальному закону распределения (с центром 0 и дисперсией G²), то по правилу трех сигм принято считать, что ошибки округления не превосходит величины 3(b-a) (надежность этого вывода можно считать достаточной при достаточно больших n).

Пример 3.1. Вычислить определенный интеграл с использованием формулы трапеций при n=5 и n=10. Для n=10 оценить ошибку как сумму двух ошибок: ошибки усечения и ошибки округления.

Решение. Т.к. при n=5, ; а при n=10, , поэтому вычислим значения подынтегральной функции в точках а =х₀=1, х_к=х₀+кh=1+0,1•к, при к=1, 2, …, 10. Результаты внесем в таблицу

х		1,1	1,2	1,3	1,4	1,5	1,6	1,7	1,8	1,9
		2,00909	2,03333	2,06923	2,11429	2,16667	2,22500	2,28824	2,35556	2,42632	2,50000
е^х+1/х	7,3891	7,4565	7,6395	7,9187	8,2837	8,7292	9,8257	9,8556	10,5440	11,3172	12,1825

а) n=5; h=0,2 используем формулу (2)

б) n=10; h=0,1.

Приближенная оценка ошибки усечения по формуле (5)

Для более точной оценки ошибки усечения по формуле (3)

находим : , ,

Тогда: при 1<c<2 можно оценить сверху

=31,2176. Следовательно ошибка усечения по формуле (3)

Ошибку округления вычисляем по формуле ,, где G=0,0001 (значения у_к вычислены с точностью 10^-4), h=0,1, n=10

Тогда общая ошибка .

Т.о. мы имеем, что при n=10

и ошибка вычисления не превосходит .

4. Задания контрольной работы

Задача 1. Даны результаты N=30 измерений:

х_к	х₁	х₂	х₃	х₄	х₅	х₆	х₇	х₈	х₉
m_к

где m_к – частота х_к.

а) Требуется оценить истинное значение измеряемой величины а с надежностью 0,99;

б) х_*=х₉+2h результат тридцать первого измерения исключен как «выскакивающее». С какой надежностью исключен из обработки х_*?

Правило составления исходных данных по номеру зачетной книжки для задачи 1.

Допустим, что А, В, С составляют три последние цифры номера зачетной книжки (если цифра равна 0, то соответствующее ей значение А, В или С принимается равным 10).

Тогда: х₁= 10•А+В, h=0,5•С и х_к = х₁+(к-1)h, где к=1,2,…, 9.

Задача 2. Экспериментально получены восемь значений функции у=f(х) при восьми значениях аргумента, которые записаны в таблице:

х
у	у₁	у₂	у₃	у₄	у₅	у₆	у₇	у₈

Методом наименьших квадратов найти функцию вида Υ= а х+ b, выражающую приближенно (апроксимирующую) функцию у=f(х). Сделать чертеж, на котором в декартовой прямогральной системе координат построить экспериментальные точки и график апроксимирующей функции у= а х+ b.

Правило составления исходных данных по номеру зачетной книжки для задачи 2.

Вариант для у_к выбирается по двум последним цифрам номера зачетной книжки. Если предпоследняя цифра четная или 0, то номер варианта равен последней цифре. Если предпоследняя цифра нечетная то номер варианта равен последней цифре +10.

Задача 3. Вычислить определенный интеграл с использованием формулы трапеций для n=5 и n=10. Для n=10 оценить ошибку как сумму двух ошибок: ошибки усечения и ошибки окружения.

Варианты выбираются по последней цифре номера зачетной книжки