В действительности каждое явление определяется действием не одной причины, а нескольких, а точнее целым комплексом причин. Сложное сочетание причин приводит к различным результатам. Например, действуя в одном и том же направлении, они усиливают действие, действуя в противоположном направлении – ослабляют друг друга. Возникает вопрос об измерении воздействия комплекса причин на изучаемое явление. Задача изучения зависимости одной зависимой переменной от нескольких объясняющих переменных x1, x2, …, xm в условиях конкретного времени решается с помощью множественного или многофакторного регрессионного анализа. Рассмотрим линейное соотношение между переменной y и объясняющими переменными x1, x2, …, xm.
Коэффициенты bk, k = 0, 1, 2, …, m называются параметрами регрессии. Постоянная регрессии b 0 выполняет в уравнении регрессии функцию выравнивания. Она определяет точку пересечения гиперповерхности регрессии с осью y. Значения b 1, b 2, …, bm являются оценками коэффициентов регрессии. Коэффициент регрессии bk измеряет усредненное частное влияние изменения переменной xk, k = 1, 2, …, m, в предположении, что остальные объясняющие переменные (x 1, x 2, …, xk -1, xk, xk +1, …, xm) остаются без изменения на постоянном уровне. Поэтому с точки зрения статистической методологии нет различия между множественной и частной регрессией. По этой причине в литературе параметры bk, k = 1, 2, …, m называются как коэффициентами множественной, так и частной регрессии. Но заключение о том, что для определения коэффициентов регрессии достаточно определить несколько простых линейных регрессий y на xk, k = 1, 2, …, m является ошибочным. Для достоверных оценок нужны методы оценивания, учитывающие многосторонние связи совместно зависимых переменных. Наиболее часто используют двухшаговый метод наименьших квадратов, который является обобщением метода наименьших квадратов.
Рассмотрим сначала линейную множественную регрессию с двумя объясняющими переменными:
Метод наименьших квадратов приводит к условию:
, откуда
После дифференцирования S (b 0, b 1, b 2) по каждому из параметров b 0, b 1, b 2 и приравнивания к нулю всех частных производных функции S (b 0, b 1, b 2) по каждому из параметров b 0, b 1, b 2, получаем следующую систему нормальных уравнений:
Решить полученную систему нормальных уравнений относительно неизвестных параметров можно по формулам Крамера.
Коэффициенты множественной или частной регрессии можно представить через дисперсии и ковариации:
где 
Пример
Построим линейную множественную регрессию общей суммы налогов и платежей на общую сумму поступлений по налогу на добавленную стоимость и налогу на прибыль (доход).
| Время наблюдения | y (общая сумма налогов и платежей в консолидированный бюджет РФ), млрд. руб. | x1 (общая сумма поступлений в консолидированный бюджет РФ по налогу на прибыль), млрд. руб. | x2 (общая сумма поступлений в консолидированный бюджет РФ по НДС), млрд. руб. |
| январь | 38,9 | 5,6 | 13,4 |
| февраль | 45,3 | 6,7 | 15,4 |
| март | 61,1 | 13,1 | 16,7 |
| I квартал | 145,3 | 25,3 | 45,5 |
| апрель | 70,4 | 16,9 | 16,2 |
| май | 63,8 | 18,4 | 13 |
| июнь | 67,7 | 19,1 | 15 |
| II квартал | 201,9 | 54,4 | 44,2 |
| I полугодие | 347,2 | 79,8 | 89,7 |
| июль | 70,6 | 16,1 | 20,8 |
| август | 78,9 | 23,3 | 16,4 |
| сентябрь | 73,2 | 19,2 | 17,4 |
| III квартал | 222,7 | 58,6 | 54,6 |
| 9 месяцев | 569,9 | 138,3 | 144,3 |
| октябрь | 78,1 | 16,1 | 23,6 |
| ноябрь | 103 | 31,8 | 23,9 |
| декабрь | 133,4 | 35,4 | 34,4 |
| IV квартал | 314,5 | 83,3 | 81,9 |
| II полугодие | 537,2 | 141,9 | 136,5 |
| январь-декабрь | 884,4 | 221,6 | 226,1 |
| 
| 
|
| Σ y | Σx1 | Σ x2 | Σx1 y | Σx2y | Σx12 | Σx22 | Σx1x2 |
| 884,4 | 221,6 | 226,1 | 18614,15 | 18154,57 | 4931,19 | 4667,94 | 4605,29 |
Полученные значения b 1 и b 2 подставим в уравнение
и выразим b 0.
Для описания линейной множественной регрессии с количеством объясняющих переменных больше двух будем использовать матричное исчисление. Пусть
, или
Введем фиктивную переменную x0 полагая xi0 = 1, i=1, 2, …, n.
Положим
где xij – переменная для обозначения переменной xj при наблюдении i,j = 1, 2, …, m; i = 1, 2, …, n.
Тогда уравнение регрессии запишется следующим образом:
Применяя метод наименьших квадратов, получим:
,
где А t - матрица, транспонированная к А. Подставляя вместо ŷ в последнюю формулу Xb, получаем
Дифференцируя последнее выражение по b и приравнивая его к нулю, получаем:
Нормальное уравнение имеет следующий вид:
Если матрица XtX обратима, то
