Оценка параметров линейной регрессии

Линейная регрессия сводится к нахождению уравнения вида

Оценка параметров линейной регрессии - №1 - открытая онлайн библиотека (или Оценка параметров линейной регрессии - №2 - открытая онлайн библиотека ) (3)

Первое выражение позволяет по заданным значениям фактора x рассчитать теоретические значения результативного признака, подставляя в него фактические значения фактора x. На графике теоретические значения лежат на прямой, которая представляют собой линию регрессии.

Построение линейной регрессии сводится к оценке ее параметров- а и b. Классический подход к оцениванию параметров линейной регрессии основан на методе наименьших квадратов (МНК).

МНК позволяет получить такие оценки параметров а и b, при которых сумма квадратов отклонений фактических значений Оценка параметров линейной регрессии - №3 - открытая онлайн библиотека от теоретических Оценка параметров линейной регрессии - №4 - открытая онлайн библиотека минимальна:

Оценка параметров линейной регрессии - №5 - открытая онлайн библиотека или Оценка параметров линейной регрессии - №6 - открытая онлайн библиотека (4)

Для нахождения минимума надо вычислить частные производные суммы (4) по каждому из параметров - а и b - и приравнять их к нулю.

Оценка параметров линейной регрессии - №7 - открытая онлайн библиотека

Оценка параметров линейной регрессии - №8 - открытая онлайн библиотека (5)

Преобразуем, получаем систему нормальных уравнений:

Оценка параметров линейной регрессии - №9 - открытая онлайн библиотека (6)

В этой системе n- объем выборки, суммы легко рассчитываются из исходных данных. Решаем систему относительно а и b, получаем:

Оценка параметров линейной регрессии - №10 - открытая онлайн библиотека (7)

Оценка параметров линейной регрессии - №11 - открытая онлайн библиотека . (8)

Выражение (7) можно записать в другом виде:

Оценка параметров линейной регрессии - №12 - открытая онлайн библиотека (9)

где Оценка параметров линейной регрессии - №13 - открытая онлайн библиотека ковариация признаков, Оценка параметров линейной регрессии - №14 - открытая онлайн библиотека дисперсия фактора x.

Параметр b называется коэффициентом регрессии. Его величина показывает среднее изменение результата с изменением фактора на одну единицу.

Формально a- значение y при x=0. Если x не имеет или не может иметь нулевого значения, то такая трактовка свободного члена a не имеет смысла. Параметр a может не иметь экономического содержания. Интерпретировать можно лишь знак при параметре a. Если a> 0, то относительное изменение результата происходит медленнее, чем изменение фактора.

Рассмотрим в качестве примера по группе предприятий, выпускающих один вид продукции, регрессионную зависимость издержек от выпуска продукции Оценка параметров линейной регрессии - №15 - открытая онлайн библиотека

Таблица 1

Выпуск продукции тыс.ед.( Оценка параметров линейной регрессии - №16 - открытая онлайн библиотека ) Затраты на производство, млн.руб.( Оценка параметров линейной регрессии - №3 - открытая онлайн библиотека ) Оценка параметров линейной регрессии - №18 - открытая онлайн библиотека Оценка параметров линейной регрессии - №19 - открытая онлайн библиотека Оценка параметров линейной регрессии - №20 - открытая онлайн библиотека Оценка параметров линейной регрессии - №21 - открытая онлайн библиотека
31,1
67,9
141,6
104,7
178,4
104,7
141,6
Итого: 22 770,0

Система нормальных уравнений будет иметь вид:

Оценка параметров линейной регрессии - №22 - открытая онлайн библиотека

Решая её, получаем a= -5,79, b=36,84.

Уравнение регрессии имеет вид:

Оценка параметров линейной регрессии - №23 - открытая онлайн библиотека

Подставив в уравнение значения х, найдем теоретические значения y (последняя колонка таблицы).

При линейной регрессии в качестве показателя тесноты связи выступает линейный коэффициент корреляции r:

Оценка параметров линейной регрессии - №24 - открытая онлайн библиотека (11)

Его значения находятся в границах: Оценка параметров линейной регрессии - №25 - открытая онлайн библиотека . Если b > 0, то Оценка параметров линейной регрессии - №26 - открытая онлайн библиотека при b< 0 Оценка параметров линейной регрессии - №27 - открытая онлайн библиотека . По данным примера Оценка параметров линейной регрессии - №28 - открытая онлайн библиотека , что означает очень тесную зависимость затрат на производство от величины объема выпускаемой продукции.

Для оценки качества подбора линейной функции рассчитывается коэффициент детерминации как квадрат линейного коэффициента корреляции r2. Он характеризует долю дисперсии результативного признака y, объясняемую регрессией, в общей дисперсии результативного признака:

Оценка параметров линейной регрессии - №29 - открытая онлайн библиотека (12)

Величина Оценка параметров линейной регрессии - №30 - открытая онлайн библиотека характеризует долю дисперсии y, вызванную влиянием остальных, не учтенных в модели факторов.

В примере Оценка параметров линейной регрессии - №31 - открытая онлайн библиотека . Уравнением регрессии объясняется 98,2 % дисперсии Оценка параметров линейной регрессии - №3 - открытая онлайн библиотека , а на прочие факторы приходится 1,8 %, это остаточная дисперсия.