Система нормальних рівнянь. Дослідження та розв’язок задачі (2.4).

Для розв’язання задачі (2.4) обчислимо частинні похідні по b ₀, b ₁ функції S = S (b ₀, b ₁). Маємо

¶ S / ¶ b ₀ = - 2 y_i – b ₀ – b ₁ x_i),

¶ S / ¶ b ₁ = - 2 (y_i – b ₀ – b ₁ x_i).

Прирівнюючи знайдені похідні нулю і виконуючи належні спрощення (рекомендується виконати їх самостійно), приходимо до системи двох рівнянь, в якій, підкреслимо, невідомими є параметри b ₀, b ₁:

b ₀ n + b ₁ S x_i = S y_i,

b ₀ S x_i + b ₁ S x_i ² = S x_i y_i, (2.5)

де для спрощення запису індекси підсумовування опущено. Ця система носить назву системи нормальних рівнянь або нормальної системи. В одному з наступних розділів буде доведено, що розв’язок нормальної системи і справді є розв’язком задачі (2.4).

Розглянемо спочатку випадок існування та єдиності розв’язку системи (2.5). Тобто ми поки що вважаємо визначник даної системи відмінним від 0. Позначимо шуканий розв’язок (b ₀, b ₁); відносно b ₁ маємо (переконайтесь у цьому):

, (2.6)

де підсумовування ведеться по i від 1 до n. Розв’язок нормальної системи відносно b ₀ має такий вигляд:

b ₀ = , (2.7)

де та – відповідні середні арифметичні значення:

= (y ₁+…+ y_n)/ n, = (x ₁+…+ x_n)/ n.

2.3.1. Зауваження. Оцінка b ₁ параметра b ₁ може бути записаною також іншим чином:

. (2.8)

Дійсно, це твердження випливає з наступних рівностей

S(x_i – )(y_i – ) = S x_i y_i – S y_i – S x_i + n = S x_i y_i – n =

= S x_i y_i – (S x_i)(S y_i)/ n.

Зручно ввести позначення:

S_{x y} = S(x_i – )(y_i – ), S_{x x} = S(x_i – )², S_{y y} = S(y_i – )².

Тоді маємо легкий для запам’ятовування вираз оцінки b ₁:

b ₁ = S_{x y} / S_{x x} . (2.9)

Вище була введена функція

= = b ₀ + b ₁ x (2.10)

Величина = є оцінкою функції регресії g (x) з рівності (2.2). Іноді зручніше використовувати дещо інший вираз для :

= + b ₁(x – ). (2.11)

Ця рівність одержується з (2.10) підстановкою замість b ₀ його виразу (2.7).

З рівності (2.11) одразу бачимо, що пряма лінія, яка зображує у декартовій площині залежність = , проходить через точку декартової площини з координатами (, ).

Припустимо тепер, що визначник D системи (2.5) дорівнює 0. З’ясуємо, за яких умов це трапляється. Маємо

D = n S x_i ² –(S x_i)².

Оскільки (S x_i)² = (S 1× x_i)², то за нерівністю Коші – Буняковського буде (S x_i)² S 1² × S x_i ² = n S x_i ², отже завжди

D ³ 0 (2.12)

Скористаємось відомою умовою наявності рівності в нерівності Коші – Буняковського. Бачимо, що коли ввести n -вимірні вектори 1 = (1,…,1) і x = (x ₁,…, x_n), то рівність в (2.12) буде мати місце тоді і тільки тоді, коли вектори 1 і x будуть лінійно залежними. Це означає, що знайдуться такі сталі с ₁, с ₂, що одночасно не дорівнюють 0 і для яких виконується рівність

с ₁ × 1 + с ₂ × x = 0, (2.13)

де права частина – це нульовий вектор (0,…,0). При цьому випадок с ₂ = 0, очевидно, не може мати місця (бо інакше, оскільки тоді с ₁ 0, буде 1 = 0). Тому з (2.13) випливає, що x = (с,…, с), де с – деяка стала. Це означає, що всі спостереження робляться в одній точці: x ₁ = … = x_n = с. За вказаною умовою система (2.5) зводиться, фактично, до одного-єдиного рівняння

b ₀ n + b ₁ nс = S y_i, (2.14)

яке має безліч дійсних розв’язків.

2.3.2. Висновок. З розглянутого вище бачимо, зокрема, що нормальна система рівнянь (2.5) завжди сумісна, незалежно від того, дорівнює її детермінант 0 чи не дорівнює. В останньому випадку маємо єдиний розв’язок, що дається рівностями (2.6) ((2.8)) і (2.7). Перший випадок може трапитись тільки тоді, коли всі спостереження проводяться лише при одному значенні x. У цьому випадку вказана система має безліч розв’язків, кожен з яких може бути знайдений з рівняння (2.14).

РОЗДІЛ 3