Оцінка частинних коефіцієнтів регресії за МНК

Для знаходження за МНК оцінок для параметрів запишемо SRF, що відповідає PRF з (5.1.1), у вигляді

Оцінка частинних коефіцієнтів регресії за МНК - №1 - открытая онлайн библиотека , (5.4.1)

де Оцінка частинних коефіцієнтів регресії за МНК - №2 - открытая онлайн библиотека – залишкова складова, відповідна стохастичній збурюючій складовій в Оцінка частинних коефіцієнтів регресії за МНК - №3 - открытая онлайн библиотека .

Як було відзначено раніше, процедура МНК полягає у виборі величин невідомих параметрів таким чином, щоб сума квадратів залишків (RSS) Оцінка частинних коефіцієнтів регресії за МНК - №4 - открытая онлайн библиотека була якомога меншою. Із (5.4.1) одержуємо

Оцінка частинних коефіцієнтів регресії за МНК - №5 - открытая онлайн библиотека . (5.4.2)

Відповідно до процедури МНК знаходимо частинні похідні:

Оцінка частинних коефіцієнтів регресії за МНК - №6 - открытая онлайн библиотека ; Оцінка частинних коефіцієнтів регресії за МНК - №7 - открытая онлайн библиотека ; Оцінка частинних коефіцієнтів регресії за МНК - №8 - открытая онлайн библиотека .  

Прирівнюючи до нуля ці вирази, одержуємо систему алгебраїчних рівнянь щодо коефіцієнтів регресії:

Оцінка частинних коефіцієнтів регресії за МНК - №9 - открытая онлайн библиотека ; (5.4.3)
Оцінка частинних коефіцієнтів регресії за МНК - №10 - открытая онлайн библиотека ; (5.4.4)
Оцінка частинних коефіцієнтів регресії за МНК - №11 - открытая онлайн библиотека . (5.4.5)

Із рівняння (5.4.3) одержуємо величину для Оцінка частинних коефіцієнтів регресії за МНК - №12 - открытая онлайн библиотека :

Оцінка частинних коефіцієнтів регресії за МНК - №13 - открытая онлайн библиотека . (5.4.6)

Для Оцінка частинних коефіцієнтів регресії за МНК - №14 - открытая онлайн библиотека і Оцінка частинних коефіцієнтів регресії за МНК - №15 - открытая онлайн библиотека можна отримати, розв’язуючи (5.4.3)–(5.4.5), такі вирази:

Оцінка частинних коефіцієнтів регресії за МНК - №16 - открытая онлайн библиотека ; (5.4.7)
Оцінка частинних коефіцієнтів регресії за МНК - №17 - открытая онлайн библиотека . (5.4.8)

При цьому малі букви використовуються для позначення значень змінних у відхиленнях.

Примітки:

1. Рівняння (5.4.7) і (5.4.8) симетричні в тому значенні, що одне може бути отримане з іншого заміною Х2 на Х3 і навпаки.

2. Знаменники в обох формулах однакові.

3. Тривимірний випадок є природним узагальненням двовимірної моделі.

На закінчення розглянемо випадок, коли модель містить k параметрів регресії:

Оцінка частинних коефіцієнтів регресії за МНК - №18 - открытая онлайн библиотека .  

Відповідно до МНК нам необхідно мінімізувати суму квадратів відхилень

Оцінка частинних коефіцієнтів регресії за МНК - №19 - открытая онлайн библиотека .  

За вже відомою нам процедурою одержуємо

Оцінка частинних коефіцієнтів регресії за МНК - №20 - открытая онлайн библиотека ; Оцінка частинних коефіцієнтів регресії за МНК - №21 - открытая онлайн библиотека ; Оцінка частинних коефіцієнтів регресії за МНК - №22 - открытая онлайн библиотека ; .............................. Оцінка частинних коефіцієнтів регресії за МНК - №23 - открытая онлайн библиотека .  

Отримуємо таку систему лінійних алгебраїчних рівнянь:

Оцінка частинних коефіцієнтів регресії за МНК - №24 - открытая онлайн библиотека ; Оцінка частинних коефіцієнтів регресії за МНК - №25 - открытая онлайн библиотека ; Оцінка частинних коефіцієнтів регресії за МНК - №26 - открытая онлайн библиотека ; ........................... Оцінка частинних коефіцієнтів регресії за МНК - №26 - открытая онлайн библиотека .  

Переходячи до малих букв, цю систему можна переписати в такому вигляді:

Оцінка частинних коефіцієнтів регресії за МНК - №28 - открытая онлайн библиотека ; Оцінка частинних коефіцієнтів регресії за МНК - №29 - открытая онлайн библиотека ; ........................... Оцінка частинних коефіцієнтів регресії за МНК - №30 - открытая онлайн библиотека .  

Відзначимо також, що регресійна модель з k змінними задовольняє таким рівнянням:

Оцінка частинних коефіцієнтів регресії за МНК - №31 - открытая онлайн библиотека .