Оценка параметров уравнения множественной регрессии

Параметры уравнения множественной регрессии оцениваются, как и в парной регрессии, методом наименьших квадратов (МНК). При его применении строится система нормальных уравнений, решение которой и позволяет получить оценки параметров регрессии.

Так, для уравнения Оценка параметров уравнения множественной регрессии - №1 - открытая онлайн библиотека система нормальных уравнений составит:

Оценка параметров уравнения множественной регрессии - №2 - открытая онлайн библиотека

Ее решение может быть осуществлено методом Крамера:

Оценка параметров уравнения множественной регрессии - №3 - открытая онлайн библиотека , Оценка параметров уравнения множественной регрессии - №4 - открытая онлайн библиотека , …, Оценка параметров уравнения множественной регрессии - №5 - открытая онлайн библиотека ,

где Оценка параметров уравнения множественной регрессии - №6 - открытая онлайн библиотека – определитель системы;

Оценка параметров уравнения множественной регрессии - №7 - открытая онлайн библиотека – частные определители.

Возможен и иной подход к определению параметров множественной регрессии, когда на основе матрицы парных коэффициентов корреляции строится уравнение регрессии в стандартизованном масштабе:

Оценка параметров уравнения множественной регрессии - №8 - открытая онлайн библиотека ,

где Оценка параметров уравнения множественной регрессии - №9 - открытая онлайн библиотека – стандартизованные переменные: Оценка параметров уравнения множественной регрессии - №10 - открытая онлайн библиотека , Оценка параметров уравнения множественной регрессии - №11 - открытая онлайн библиотека ,

для которых среднее значение равно нулю: Оценка параметров уравнения множественной регрессии - №12 - открытая онлайн библиотека , а среднее квадратическое отклонение равно единице: Оценка параметров уравнения множественной регрессии - №13 - открытая онлайн библиотека ;

Оценка параметров уравнения множественной регрессии - №14 - открытая онлайн библиотека – стандартизованные коэффициенты регрессии.

Применяя МНК к уравнению множественной регрессии в стандартизованном масштабе, после соответствующих преобразований получим систему нормальных уравнений вида

Оценка параметров уравнения множественной регрессии - №15 - открытая онлайн библиотека

Решая ее методом определителей, найдем параметры – стандартизованные коэффициенты регрессии ( Оценка параметров уравнения множественной регрессии - №16 - открытая онлайн библиотека -коэффициенты).

Стандартизованные коэффициенты регрессии показывают, на сколько сигм изменится в среднем результат, если соответствующий фактор Оценка параметров уравнения множественной регрессии - №17 - открытая онлайн библиотека изменится на одну сигму при неизменном среднем уровне других факторов. В силу того, что все переменные заданы как центрированные и нормированные, стандартизованные коэффициенты регрессии Оценка параметров уравнения множественной регрессии - №14 - открытая онлайн библиотека сравнимы между собой. Сравнивая их друг с другом, можно ранжировать факторы по силе их воздействия на результат. В этом основное достоинство стандартизованных коэффициентов регрессии в отличие от коэффициентов «чистой» регрессии, которые несравнимы между собой.

Пример. Пусть функция издержек производства Оценка параметров уравнения множественной регрессии - №19 - открытая онлайн библиотека (тыс. руб.) характеризуется уравнением вида

Оценка параметров уравнения множественной регрессии - №20 - открытая онлайн библиотека ,

где Оценка параметров уравнения множественной регрессии - №21 - открытая онлайн библиотека основные производственные фонды (тыс. руб.);

Оценка параметров уравнения множественной регрессии - №22 - открытая онлайн библиотека – численность занятых в производстве (чел.).

Анализируя его, мы видим, что при той же занятости дополнительный рост стоимости основных производственных фондов на 1 тыс. руб. влечет за собой увеличение затрат в среднем на 1,2 тыс. руб., а увеличение численности занятых на одного человека способствует при той же технической оснащенности предприятий росту затрат в среднем на 1,1 тыс. руб. Однако это не означает, что фактор Оценка параметров уравнения множественной регрессии - №21 - открытая онлайн библиотека , оказывает более сильное влияние на издержки производства по сравнению с фактором Оценка параметров уравнения множественной регрессии - №22 - открытая онлайн библиотека . Такое сравнение возможно, если обратиться к уравнению регрессии в стандартизованном масштабе. Предположим, оно выглядит так:

Оценка параметров уравнения множественной регрессии - №25 - открытая онлайн библиотека .

Это означает, что с ростом фактора Оценка параметров уравнения множественной регрессии - №21 - открытая онлайн библиотека на одну сигму при неизменной численности занятых затраты на продукцию увеличиваются в среднем на 0,5 сигмы. Так как Оценка параметров уравнения множественной регрессии - №27 - открытая онлайн библиотека (0,5 < 0,8), то можно заключить, что большее влияние оказывает на производство продукции фактор Оценка параметров уравнения множественной регрессии - №22 - открытая онлайн библиотека , а не Оценка параметров уравнения множественной регрессии - №21 - открытая онлайн библиотека ; как кажется из уравнения регрессии в натуральном масштабе.

В парной зависимости стандартизованный коэффициент регрессии есть не что иное, как линейный коэффициент корреляции Оценка параметров уравнения множественной регрессии - №30 - открытая онлайн библиотека . Подобно тому, как в парной зависимости коэффициенты регрессии и корреляции связаны между собой, так и во множественной регрессии коэффициенты «чистой» регрессии Оценка параметров уравнения множественной регрессии - №31 - открытая онлайн библиотека связаны со стандартизованными коэффициентами регрессии Оценка параметров уравнения множественной регрессии - №14 - открытая онлайн библиотека , а именно:

Оценка параметров уравнения множественной регрессии - №33 - открытая онлайн библиотека .

Это позволяет от уравнения регрессии в стандартизованном масштабе

Оценка параметров уравнения множественной регрессии - №34 - открытая онлайн библиотека

переходить к уравнению регрессии в натуральном масштабе переменных:

Оценка параметров уравнения множественной регрессии - №35 - открытая онлайн библиотека

Параметр Оценка параметров уравнения множественной регрессии - №36 - открытая онлайн библиотека определяется как

Оценка параметров уравнения множественной регрессии - №37 - открытая онлайн библиотека

Рассмотренный смысл стандартизованных коэффициентов регрессии позволяет их использовать при отсеве факторов – из модели исключаются факторы с наименьшим значением Оценка параметров уравнения множественной регрессии - №14 - открытая онлайн библиотека .

Для уравнения регрессии в стандартизованном масштабе Оценка параметров уравнения множественной регрессии - №39 - открытая онлайн библиотека Оценка параметров уравнения множественной регрессии - №16 - открытая онлайн библиотека -коэффициенты могут быть определены по формулам, вытекающим из решения системы нормальных уравнений:

Оценка параметров уравнения множественной регрессии - №41 - открытая онлайн библиотека

Компьютерные программы построения уравнения множественной регрессии в зависимости от использованного в них алгоритма решения позволяют получить либо только уравнение регрессии для исходных данных, либо, кроме того, уравнение регрессии в стандартизованном масштабе.

При нелинейной зависимости признаков, приводимой к линейному виду, параметры множественной регрессии также определяются МНК с той лишь разницей, что он используется не к исходной информации, а к преобразованным данным.