Линейная модель множественной регрессии

ЭКОНОМЕТРИКА

Линейная модель множественной регрессии. Метод наименьших квадратов (МНК). Свойства оценок МНК. Показатели качества регрессии. Линейные регрессионные модели с гетероскедастичными и автокоррелированными остатками. Обобщенный метод наименьших квадратов (ОМНК). Регрессионные модели с переменной структурой (фиктивные переменные). Нелинейные модели регрессии и их линеаризация. Характеристики временных рядов. Модели стационарных и нестационарных временных рядов, их идентификация. Система линейных одновременных уравнений. Косвенный, двухшаговый и трехшаговый метод наименьших квадратов.

Эконометрика – это наука, которая дает количественное выражение взаимосвязей экономических явлений и процессов. Эта наука возникла в результате взаимодействия и объединения трех компонент: экономической теории, статистических и экономических методов. Становление и развитие эконометрики происходили на основе так называемой высшей статистики, когда в уравнение регрессии начали включаться переменные не только в первой, но и во второй степени. В ряде случаев это необходимо для отражения свойства оптимальности экономических переменных, т.е. наличия значений, при которых достигается минимальное или максимальное воздействие на зависимую переменную. Таково, например, влияние внесения в почву удобрений на урожайность: до определенного уровня насыщение почвы удобрениями способствует росту урожайности, а по достижении оптимального уровня насыщения удобрениями его дальнейшее наращивание не приводит к росту урожайности и даже может вызвать ее снижение.

В зависимости от количества факторов, включенных в уравнение регрессии, принято различать простую (парную) и множественную регрессии.

Простая регрессия представляет собой регрессию между двумя переменными – y и x, т.е. модель вида

Линейная модель множественной регрессии - №1 - открытая онлайн библиотека ,

где y – зависимая переменная (результативный признак);

x – независимая переменная (признак-фактор).

Множественная регрессия соответственно представляет собой регрессию результативного признака с двумя и большим числом факторов, т.е. модель вида

Линейная модель множественной регрессии - №2 - открытая онлайн библиотека .

Простая регрессия может дать хороший результат при моделировании, если влиянием других факторов, воздействующих на объект исследования, можно пренебречь. Однако когда уверенности в правомерности такого допущения нет, необходимо использовать модель с большим числом факторов. Множественная регрессия широко используется в решении проблем спроса, доходности акций, при изучении функции издержек производства и целого ряда других вопросов эконометрики. Основная цель множественной регрессии – построить модель с большим числом факторов, определив при этом влияние каждого из них в отдельности, а также совокупное их воздействие на моделируемый показатель.

Построение уравнения множественной регрессии начинается с решения вопроса о спецификации модели. Суть этой проблемы включает в себя два круга вопросов: отбор факторов и выбор вида уравнения регрессии. Ввиду четкой интерпретации параметров наиболее широко используются линейная и степенная функции.

Линейная модель множественной регрессии

В линейной множественной регрессии

Линейная модель множественной регрессии - №3 - открытая онлайн библиотека (1)

параметры при x называются коэффициентами «чистой» регрессии. Они характеризуют среднее изменение результата с изменением соответствующего параметра на единицу при неизменном значении других факторов, закрепленных на среднем уровне.

Пример.Предположим, что зависимость расходов на продукты питания по совокупности семей характеризуется следующим уравнением:

Линейная модель множественной регрессии - №4 - открытая онлайн библиотека ,

где y – расходы семьи за месяц на продукты питания, тыс. руб.;

x1 – месячный доход на одного члена семьи, тыс. руб.;

x2 – размер семьи, человек.

Анализ данного уравнения позволяет сделать выводы – с ростом дохода на одного члена семьи на 1 тыс. руб. расходы на питание возрастут в среднем на 350 руб. при том же среднем размере семьи. Иными словами, 35% дополнительных семейных расходов тратится на питание. Увеличение размера семьи при тех же ее доходах предполагает дополнительный рост расходов на питание на 730 руб. Первый параметр не подлежит экономической интерпретации.

Классический подход к оцениванию параметров линейной модели основан на методе наименьших квадратов (МНК).

Этот метод позволяет получить такие оценки параметров, при которых сумма квадратов отклонений фактических значений результативного признака (y) от расчетных (теоретических) Линейная модель множественной регрессии - №5 - открытая онлайн библиотека минимальна:

Линейная модель множественной регрессии - №6 - открытая онлайн библиотека . (2)

Чтобы найти минимум функции (2), надо вычислить производные по каждому из параметров и приравнять их к нулю, т.к. равенство нулю производной – необходимое условие экстремума. В результате получается система уравнений, решение которой и позволяет получить оценки параметров регрессии.

Так, для уравнения (1) система нормальных уравнений имеет вид:

Линейная модель множественной регрессии - №7 - открытая онлайн библиотека (3)

Решение системы (3) может быть осуществлено по одному из известных способов: Метод Гаусса, метод Крамера и т.д.

Пример.По четырем предприятиям региона (см. табл.) изучается зависимость выработки продукции на одного работника y (тыс. руб.) от ввода в действие новых основных фондов Линейная модель множественной регрессии - №8 - открытая онлайн библиотека (% от стоимости фондов на конец года) и от удельного веса рабочих высокой квалификации в общей численности рабочих Линейная модель множественной регрессии - №9 - открытая онлайн библиотека (%). Требуется написать уравнение множественной регрессии.

Номер предприятия
Линейная модель множественной регрессии - №9 - открытая онлайн библиотека , (%)
Линейная модель множественной регрессии - №8 - открытая онлайн библиотека , (%)
Линейная модель множественной регрессии - №12 - открытая онлайн библиотека , (тыс. руб.)

Решение

Предположим, что зависимость выработки продукции на одного работника характеризуется следующим уравнением:

Линейная модель множественной регрессии - №13 - открытая онлайн библиотека .

На основании исходных данных составляем систему уравнений для определения коэффициентов Линейная модель множественной регрессии - №14 - открытая онлайн библиотека и Линейная модель множественной регрессии - №15 - открытая онлайн библиотека .

Линейная модель множественной регрессии - №16 - открытая онлайн библиотека ;

Линейная модель множественной регрессии - №17 - открытая онлайн библиотека ; Линейная модель множественной регрессии - №18 - открытая онлайн библиотека ;

Линейная модель множественной регрессии - №19 - открытая онлайн библиотека ;

Линейная модель множественной регрессии - №20 - открытая онлайн библиотека ;

Линейная модель множественной регрессии - №21 - открытая онлайн библиотека ; Линейная модель множественной регрессии - №22 - открытая онлайн библиотека ;

Линейная модель множественной регрессии - №23 - открытая онлайн библиотека .

Линейная модель множественной регрессии - №24 - открытая онлайн библиотека

Решим эту систему по методу Крамера. Вычисляем определитель системы:

Линейная модель множественной регрессии - №25 - открытая онлайн библиотека

Аналогично вычисляем частные определители, заменяя соответствующий столбец столбцом свободных членов:

Линейная модель множественной регрессии - №26 - открытая онлайн библиотека ; Линейная модель множественной регрессии - №27 - открытая онлайн библиотека ; Линейная модель множественной регрессии - №28 - открытая онлайн библиотека .

Коэффициенты уравнения определяются по формулам:

Линейная модель множественной регрессии - №29 - открытая онлайн библиотека

Таким образом, уравнение имеет вид:

Линейная модель множественной регрессии - №30 - открытая онлайн библиотека .

Возможен и иной подход к определению параметров множественной регрессии, когда на основе матрицы парных коэффициентов корреляции строится уравнение регрессии в стандартизованном масштабе:

Линейная модель множественной регрессии - №31 - открытая онлайн библиотека , (4)

где Линейная модель множественной регрессии - №32 - открытая онлайн библиотека - стандартизованные переменные: Линейная модель множественной регрессии - №33 - открытая онлайн библиотека , для которых среднее значение равно нулю, а среднее квадратическое значение равно единице;

Линейная модель множественной регрессии - №34 - открытая онлайн библиотека - стандартизованные коэффициенты регрессии.

Применяя МНК к уравнению множественной регрессии в стандартизованном масштабе, после соответствующих преобразований получим систему нормальных уравнений вида для определения стандартизованных коэффициентов регрессии.

Линейная модель множественной регрессии - №35 - открытая онлайн библиотека . (5)

Следует отметить, что величины Линейная модель множественной регрессии - №36 - открытая онлайн библиотека и Линейная модель множественной регрессии - №37 - открытая онлайн библиотека называются парными коэффициентами корреляции и определяются по формулам

Линейная модель множественной регрессии - №38 - открытая онлайн библиотека , Линейная модель множественной регрессии - №39 - открытая онлайн библиотека . (6)

Решая систему (5) определяем стандартизованные коэффициенты регрессии. Сравнивая их друг с другом, можно ранжировать факторы по силе воздействия на результат. В этом основное достоинство стандартизованных коэффициентов регрессии в отличие от коэффициентов «чистой» регрессии, которые несравнимы между собой.

Пример. Получим для предыдущего примера уравнение регрессии в стандартизованном масштабе.

Линейная модель множественной регрессии - №40 - открытая онлайн библиотека , Линейная модель множественной регрессии - №41 - открытая онлайн библиотека , Линейная модель множественной регрессии - №42 - открытая онлайн библиотека , Линейная модель множественной регрессии - №43 - открытая онлайн библиотека

Линейная модель множественной регрессии - №44 - открытая онлайн библиотека

Линейная модель множественной регрессии - №45 - открытая онлайн библиотека

Линейная модель множественной регрессии - №46 - открытая онлайн библиотека

Линейная модель множественной регрессии - №47 - открытая онлайн библиотека

Линейная модель множественной регрессии - №48 - открытая онлайн библиотека

Линейная модель множественной регрессии - №49 - открытая онлайн библиотека

Линейная модель множественной регрессии - №50 - открытая онлайн библиотека

Линейная модель множественной регрессии - №51 - открытая онлайн библиотека

Линейная модель множественной регрессии - №52 - открытая онлайн библиотека ;

Линейная модель множественной регрессии - №53 - открытая онлайн библиотека ;

Линейная модель множественной регрессии - №54 - открытая онлайн библиотека .

Согласно (5) получаем систему нормальных уравнений в виде:

Линейная модель множественной регрессии - №55 - открытая онлайн библиотека

Окончательно получаем уравнение регрессии в стандартизованном масштабе в виде:

Линейная модель множественной регрессии - №56 - открытая онлайн библиотека

Используя формулы Линейная модель множественной регрессии - №33 - открытая онлайн библиотека можно вернуться к уравнению «чистой» регрессии:

Линейная модель множественной регрессии - №58 - открытая онлайн библиотека

Линейная модель множественной регрессии - №59 - открытая онлайн библиотека

Сравнивая полученное уравнение с полученным ранее мы видим хорошее соответствие полученных разными способами результатов.