Оценка параметров регрессионного уравнения

Дня оценки параметров регрессионного уравнения наиболее часто используют метод наименьших квадратов (МНК).

Метод наименьших квадратовдает оценки, имеющие наименьшую дисперсию в классе всех линейных оценок, если выполняются предпосылки нормальной линейной регрессионной модели.

МНК минимизирует сумму квадратов отклонения наблюдаемых значений Оценка параметров регрессионного уравнения - №1 - открытая онлайн библиотека от модельных значений Оценка параметров регрессионного уравнения - №2 - открытая онлайн библиотека .

Согласно принципу метода наименьших квадратов, оценки Оценка параметров регрессионного уравнения - №3 - открытая онлайн библиотека и Оценка параметров регрессионного уравнения - №4 - открытая онлайн библиотека находятся путем минимизации суммы квадратов

Оценка параметров регрессионного уравнения - №5 - открытая онлайн библиотека

по всем возможным значениям Оценка параметров регрессионного уравнения - №6 - открытая онлайн библиотека и Оценка параметров регрессионного уравнения - №7 - открытая онлайн библиотека при заданных (наблюдаемых) значениях Оценка параметров регрессионного уравнения - №8 - открытая онлайн библиотека .

В результате применения МНК получаем формулы для вычисления параметров модели парной регрессии.

Оценка параметров регрессионного уравнения - №9 - открытая онлайн библиотека (3)

Оценка параметров регрессионного уравнения - №10 - открытая онлайн библиотека

Такое решение может существовать только при выполнении условия

Оценка параметров регрессионного уравнения - №11 - открытая онлайн библиотека

что равносильно отличию от нуля определителя системы нормальных уравнений. Действительно, этот определитель равен

Оценка параметров регрессионного уравнения - №12 - открытая онлайн библиотека

Последнее условие называется условием идентифицируемости модели наблюдений Оценка параметров регрессионного уравнения - №13 - открытая онлайн библиотека , и означает, что не все значения Оценка параметров регрессионного уравнения - №14 - открытая онлайн библиотека совпадают между собой. При нарушении этого условия все точки Оценка параметров регрессионного уравнения - №15 - открытая онлайн библиотека , лежат на одной вертикальной прямой Оценка параметров регрессионного уравнения - №16 - открытая онлайн библиотека

Оценки Оценка параметров регрессионного уравнения - №3 - открытая онлайн библиотека и Оценка параметров регрессионного уравнения - №4 - открытая онлайн библиотека называют оценками наименьших квадратов. Обратим внимание на полученное выражение для параметра Оценка параметров регрессионного уравнения - №4 - открытая онлайн библиотека . В это выражение входят суммы квадратов, участвовавшие ранее в определении выборочной дисперсии Оценка параметров регрессионного уравнения - №20 - открытая онлайн библиотека

и выборочной ковариации Оценка параметров регрессионного уравнения - №21 - открытая онлайн библиотека Оценка параметров регрессионного уравнения - №22 - открытая онлайн библиотека так что, в этих терминах параметр Оценка параметров регрессионного уравнения - №23 - открытая онлайн библиотека можно получить следующим образом: Оценка параметров регрессионного уравнения - №24 - открытая онлайн библиотека

Оценка параметров регрессионного уравнения - №24 - открытая онлайн библиотека Оценка параметров регрессионного уравнения - №26 - открытая онлайн библиотека = Оценка параметров регрессионного уравнения - №27 - открытая онлайн библиотека = Оценка параметров регрессионного уравнения - №21 - открытая онлайн библиотека Оценка параметров регрессионного уравнения - №29 - открытая онлайн библиотека =

= Оценка параметров регрессионного уравнения - №30 - открытая онлайн библиотека Оценка параметров регрессионного уравнения - №31 - открытая онлайн библиотека