Множественный регрессионный анализ

Множественный регрессионный анализ (МРА) предназначен для изучения взаимосвязи одной переменной (зависимой) и нескольких других переменных (независимых). Обычно применяется для изучения возможностей предсказания некоторого результата по ряду предварительно измеренных характеристик. При этом предполагается, что связь между одной зависимей переменной и несколькими независимыми переменными можно выразить линейным уравнением (что позволяет осуществлять предсказание).

Множественный регрессионный анализ может применяться как для решения прикладных задач, так и для изучения возможностей предсказания некоторого результата по ряду предварительно измеренных характеристик.

Помимо предсказания и определения его точности, множественный регрессионный анализ позволяет определить, какие показатели наиболее существенны, важны для предсказания, а какими переменными можно пренебречь, исключив их из анализа. Например, психолога может интересовать вопрос о том, какие психологические характеристики в наибольшей степени влияют на проявление исследуемой формы поведения или какие индивидуальные особенности лучше предсказывают успешность деятельности.

Ограничение: переменные должны быть измерены в метрической шкале и иметь нормальное распределение. При нарушении этого требования результаты также могут быть полезны.

Для МРА желательно отбирать «независимые» переменные, сильно коррелирующие с «зависимой» переменной и слабо - друг с другом. Если независимых переменных много и наблюдается множество связей между ними, то целесообразно провести факторный анализ этих независимых переменных с вычислением значений факторов для объектов. Таким образом, основными целями МРА являются:

1. Определение того, в какой мере «зависимая» переменная связана с совокупностью «независимых» переменных, какова статистическая значимость этой взаимосвязи. Показатель - коэффициент множественной корреляции и его статистическая значимость по критерию Фишера.

2. Определение существенности вклада каждой «независимой» переменной в оценку «зависимой» переменной, отсев несущественных для предсказания «независимых» переменных. Показатели - регрессионные коэффициенты и их статистическая значимость.

3. Анализ точности предсказания и вероятностных ошибок оценки «зависимой» переменной. Показатель - коэффициент детерминации, интерпретируемый как доля дисперсии «зависимой» переменной, объясняемая совокупностью «независимых» переменных. Вероятностные ошибки предсказания анализируются по расхождению действительных значений «зависимой» переменной и оцененных при помощи модели МРА.

4. Оценка (предсказание) неизвестных значений «зависимой» переменной по известным значениям «независимых» переменных. Осуществляется по вычисленным параметрам множественной регрессии.

Нелинейная регрессия

Иногда, при проведении анализа линейной модели, исследователь получает данные о ее неадекватности. В этом случае его по-прежнему интересует зависимость между предикторными переменными и откликом, но для уточнения модели в ее уравнение добавляются некоторые нелинейные члены. Самым удобным способом оценивания параметров полученной регрес­сии является нелинейное оценивание. Например, его можно использовать для уточнения зависимости между стажем работы и производительностью труда, стоимостью дома и временем, необходимым для его продажи и т.д.

Нелинейное оценивание оставляет выбор характера зависимости за исследователем. Например, вы можете определить зависимую переменную как логарифмическую функцию от предикторной переменной, как степенную функцию или как любую другую композицию элементарных функций от предикторов.

Если позволить рассмотрение любого типа зависимости между предикторами и переменной отклика, возникают два вопроса.
Во-первых, как истолковать найденную зависимость в виде простых практических рекомендаций. С этой точки зрения линейная зависимость очень удобна, так как позволяет дать простое пояснение: чем больше X (т.е. чем больше цена дома), тем больше У (тем больше времени нужно, чтобы его продать), и, задавая конкретные приращения X, можно ожидать пропорциональное приращение У. Нелинейные соотношения обычно нельзя так просто проинтерпретировать и выразить словами. Второй вопрос - как проверить, имеется ли на самом деле предсказанная нелинейная зависимость.

Формально говоря, нелинейное оценивание является универсальном аппроксимирующей процедурой, оценивающей любой вид зависимостимежду переменной отклика и набором независимых переменных.

В общем случае, все регрессионные модели могут быть записаны в виде формулы:

y = F(x₁,x₂,...,х_п).

При проведении регрессионного, а в частности нелинейного регрес­сионного анализа, исследователя интересует, связана ли и если да. то как, зависимая переменная и набор независимых переменных. Выражение F(x) в выписанном выше выражении означает, что переменная отклика у является функцией от независимой переменной х.