Важливою характеристикою кореляційного зв'язку є лінія регресії— емпірична в моделі аналітичного групування і теоретична в моделі регресійного аналізу. Емпірична лінія регресії представлена груповими середніми результативної ознаки уJ, кожна з
яких належить до відповідного інтервалу значень групувального фактора Xj. Теоретична лінія регресії описується певною функцією Y = f(x), яку називають рівнянням регресії, а Y— теоретичним рівнем результативної ознаки.
На відміну від емпіричної, теоретична лінія регресії неперервна. Так, уважають, що маса дорослої людини в кілограмах має бути на 100 одиниць менша за її зріст у сантиметрах. Співвідношення між масою і зростом можна записати у вигляді рівняння: Y = -100 + х, де y — маса; х — зріст.
Безперечно, така форма зв'язку між масою та зростом людини надто спрощена. Насправді збільшення маси не жорстко пропорційне до збільшення зросту. Люди одного зросту мають різну масу, проте в середньому зі збільшенням зросту маса зростає. Для точнішого відображення зв'язку між цими ознаками в рівняння слід увести другий параметр, який був би коефіцієнтом пропорційності при х, тобто Y=- 100 + bx.
Рівняння регресії в такому вигляді описує числове співвідношення варіації ознак х і у в середньому. Коефіцієнт пропорційності при цьому відіграє визначальну роль. Він показує, на скільки одиниць у середньому змінюється у зі зміною х на одиницю. У разі прямого зв'язку b — величина додатна, у разі оберненого — від'ємна.
Подаючи у як функцію х, тим самим абстрагуються від множинності причин, штучно спрощуючи механізм формування варіації у. Аналіз причинних комплексів здійснюється за допомогою множинної регресії.
Різні явища по-різному реагують на зміну факторів. Для того щоб відобразити характерні особливості зв'язку конкретних явищ, статистика використовує різні за функціональним видом регресійні рівняння. Якщо зі зміною фактора х результату змінюється більш-менш рівномірно, такий зв'язок описується лінійною функцією Y - а + bх. Коли йдеться про нерівномірне співвідношення варіацій взаємозв'язаних ознак (наприклад, коли прирости значень у зі зміною х прискорені чи сповільнені або напрям зв'язку змінюється), застосовують нелінійні регресії, зокрема:
степеневу Y = ахb;
гіперболічну
параболічну Y = а + bх + сх2 тощо.
Вибір та обґрунтування функціонального виду регресії ґрунтується на теоретичному аналізі суті зв'язку. Нехай вивчається зв'язок між урожайністю та кількістю опадів. Надто мала і надто велика кількість опадів спричинюють зниження врожайності, максимальний її рівень можливий за умови оптимальної кількості опадів, тобто зі збільшенням факторної ознаки (опади) урожайність спершу зростає, а потім зменшується. Залежність такого роду описується параболою Y = а + bх + сх2.
Вивчаючи зв'язок між собівартістю у та обсягом продукції х,
використовують рівняння гіперболи де a — пропорційні
витрати на одиницю продукції, b — постійні витрати на весь випуск.
Зауважимо, що теоретичний аналіз суті зв'язку, хоча й дуже важливий, лише окреслює особливості форми регресії і не може точно визначити її функціонального виду. До того ж у конкретних умовах простору і часу межі варіації взаємозв'язаних ознак х і у значно вужчі за теоретично можливі. І якщо кривина регресії невелика, то в межах фактичної варіації ознак зв'язок між ними досить точно описується лінійною функцією. Цим значною мірою пояснюється широке застосування лінійних рівнянь регресії:
Y = а + bх.
Параметр b (коефіцієнт регресії) — величина іменована, має розмірність результативної ознаки і розглядається як ефект впливу х на у. Параметр а — вільний член рівняння регресії, це значення у при х = 0. Якщо межі варіації х не містять нуля, то цей параметр має лише розрахункове значення.
Параметри рівняння регресії визначаються методом найменших квадратів, основна умова якого — мінімізація суми квадратів відхилень емпіричних значень у від теоретичних Y:
