Властивості оцінювачів за МНК

Властивості оцінювачів за МНК для множинної регресійної моделі аналогічні властивостям для двовимірного випадку. А саме:

1. Тривимірна поверхня (площина) регресії проходить через середні Властивості оцінювачів за МНК - №1 - открытая онлайн библиотека , Властивості оцінювачів за МНК - №2 - открытая онлайн библиотека і Властивості оцінювачів за МНК - №3 - открытая онлайн библиотека . Це очевидно з (5.4.3). Ця властивість допускає узагальнення на випадок лінійної регресійної моделі з k змінними (один регресант і (k–1) регресорів):

Властивості оцінювачів за МНК - №4 - открытая онлайн библиотека . (5.4.20)

Для цієї моделі виконується

Властивості оцінювачів за МНК - №5 - открытая онлайн библиотека . (5.4.21)

2. Середня величина оцінки Властивості оцінювачів за МНК - №6 - открытая онлайн библиотека дорівнює середній величині дійсних Властивості оцінювачів за МНК - №7 - открытая онлайн библиотека , що легко доводиться:

Властивості оцінювачів за МНК - №8 - открытая онлайн библиотека (5.4.22)

Підсумовуючи обидві частини (5.4.22) за об’ємом усієї вибірки і поділяючи на N, одержуємо Властивості оцінювачів за МНК - №9 - открытая онлайн библиотека . При цьому використовується відома властивість Властивості оцінювачів за МНК - №10 - открытая онлайн библиотека . Зауважимо також, що з (5.4.22) випливає рівність

Властивості оцінювачів за МНК - №11 - открытая онлайн библиотека , (5.4.23)

де Властивості оцінювачів за МНК - №12 - открытая онлайн библиотека .

Отже, SRF (5.4.1) може бути поданий у формі відхилень

Властивості оцінювачів за МНК - №13 - открытая онлайн библиотека . (5.4.24)

3. Властивості оцінювачів за МНК - №14 - открытая онлайн библиотека . Ця рівність є наслідком МНК.

4. Залишки Властивості оцінювачів за МНК - №15 - открытая онлайн библиотека некорельовані з Властивості оцінювачів за МНК - №16 - открытая онлайн библиотека і Властивості оцінювачів за МНК - №17 - открытая онлайн библиотека , тобто Властивості оцінювачів за МНК - №18 - открытая онлайн библиотека .

5. Залишки Властивості оцінювачів за МНК - №15 - открытая онлайн библиотека некорельовані з Властивості оцінювачів за МНК - №20 - открытая онлайн библиотека , тобто Властивості оцінювачів за МНК - №21 - открытая онлайн библиотека . Цю властивість легко довести, якщо обидві частини рівності Властивості оцінювачів за МНК - №22 - открытая онлайн библиотека помножити на Властивості оцінювачів за МНК - №15 - открытая онлайн библиотека і підсумувати за об’ємом вибірки з урахуванням властивості 4.

6. Із (5.4.12) і (5.4.15) бачимо, що зі зростанням до 1 кореляційного коефіцієнта R23 між Х2 і Х3 дисперсії Властивості оцінювачів за МНК - №24 - открытая онлайн библиотека і Властивості оцінювачів за МНК - №25 - открытая онлайн библиотека при фіксованих значеннях s2 і Властивості оцінювачів за МНК - №26 - открытая онлайн библиотека , Властивості оцінювачів за МНК - №27 - открытая онлайн библиотека також зростають. Коли R23=1 (точна колінеарність), ці дисперсії стають необмеженими. Тобто зі зростанням R23 значення Властивості оцінювачів за МНК - №28 - открытая онлайн библиотека і Властивості оцінювачів за МНК - №29 - открытая онлайн библиотека стають усе більш невизначеними.

7. Із (5.4.12) і (5.4.15) зрозуміло, що для даних величин R23, Властивості оцінювачів за МНК - №26 - открытая онлайн библиотека , Властивості оцінювачів за МНК - №27 - открытая онлайн библиотека дисперсії коефіцієнтів Властивості оцінювачів за МНК - №24 - открытая онлайн библиотека і Властивості оцінювачів за МНК - №25 - открытая онлайн библиотека прямо пропорційні s2, тобто зі зростанням s2 вони зростають. Водночас для даних величин s2 і R23 дисперсія Властивості оцінювачів за МНК - №24 - открытая онлайн библиотека обернено пропорційна Властивості оцінювачів за МНК - №26 - открытая онлайн библиотека , тобто чим більше змінюється за вибіркою Х2, тим менша дисперсія Властивості оцінювачів за МНК - №24 - открытая онлайн библиотека і, отже, тим точніше можна оцінити Властивості оцінювачів за МНК - №28 - открытая онлайн библиотека . Аналогічний висновок можна зробити про дисперсію Властивості оцінювачів за МНК - №25 - открытая онлайн библиотека .

8. При прийнятих гіпотезах класичної лінійної регресійної моделі можна показати, що оцінки за МНК частинних коефіцієнтів регресії не тільки лінійні й незміщені, але й мають якнайменшу дисперсію в класі лінійних незміщених оцінок, тобто вони мають властивість BLUE.

5.5. Коефіцієнт детермінації R2і коефіцієнт кореляції множинної регресійної моделі

У випадку моделі з двома змінними ми бачимо, що коефіцієнт

Властивості оцінювачів за МНК - №39 - открытая онлайн библиотека  

виміряв якість підгонки рівняння регресії, точніше, він дав співвідношення або відсоток у загальній варіації Y, пояснений за рахунок пояснювальної змінної Х. Даний підхід може бути узагальненим на випадок моделей, які містять більше двох змінних. Так, у моделі з трьома змінними нас цікавить, яка частина у варіації У пояснюється за рахунок змінних Х2 і Х3. У цьому випадку коефіцієнт позначається R2 і називається коефіцієнтом детермінації множинної регресії. Концептуально він наближений до R2.

Для виведення R2 можна скористатися процедурою виведення R2, описаною в підрозд. 2.5. Пригадаємо, що

Властивості оцінювачів за МНК - №40 - открытая онлайн библиотека . (5.5.1)

Переходячи до малих букв, цю рівність можна записати у вигляді

Властивості оцінювачів за МНК - №41 - открытая онлайн библиотека . (5.5.2)

Підносячи (5.5.2) до квадрата й підсумовуючи, одержуємо

Властивості оцінювачів за МНК - №42 - открытая онлайн библиотека . (5.5.3)

Ця рівність показує, що загальна сума квадратів (TSS) дорівнює поясненій сумі квадратів (ESS) + сума квадратів залишків (RSS). Підставляючи замість Властивості оцінювачів за МНК - №43 - открытая онлайн библиотека вираз (5.4.19), одержуємо

Властивості оцінювачів за МНК - №44 - открытая онлайн библиотека .  

Звідси одержуємо вираз для ESS пояснюючої суми квадратів:

Властивості оцінювачів за МНК - №45 - открытая онлайн библиотека . (5.5.4)

За визначенням маємо

Властивості оцінювачів за МНК - №46 - открытая онлайн библиотека . (5.5.5)

Зазначимо, що можна отримати й інший вираз для R2, якщо застосувати (5.5.3) і розділити обидві частини на Властивості оцінювачів за МНК - №47 - открытая онлайн библиотека . Одержимо

Властивості оцінювачів за МНК - №48 - открытая онлайн библиотека .  

R2, як і R2, лежить між 0 і 1. Якщо R2=1, то лінія регресії на 100% пояснює варіацію в Y. Якщо ж R2=0, модель нічого не пояснює у варіації Y. Проте R2 зазвичай лежить між цими граничними величинами. Вважається, що підгонка моделі тим краща, чим більше R2 наближається до 1.

Пригадаємо, що в моделі з двома змінними величина r позначала степінь лінійного зв’язку між двома змінними. У моделі з трьома й більше змінними аналогом r є коефіцієнт множинної кореляції, що позначається R. Він позначає степінь асоціативності між Y і всіма пояснювальними змінними одночасно. На відміну від r, який може бути і негативним, R набуває завжди позитивних значень. На практиці, проте, R відіграє незначну роль, більш важлива величина R2.

Зазначимо зв’язок між R2 і дисперсіями частинних коефіцієнтів регресії в моделі множинної регресії з k змінними (5.4.20):

Властивості оцінювачів за МНК - №49 - открытая онлайн библиотека , (5.5.6)

де Властивості оцінювачів за МНК - №50 - открытая онлайн библиотека – частинний коефіцієнт регресії при регресорі Властивості оцінювачів за МНК - №51 - открытая онлайн библиотека , а Властивості оцінювачів за МНК - №52 - открытая онлайн библиотека – R2 в регресії Властивості оцінювачів за МНК - №51 - открытая онлайн библиотека по тих (k–2) змінних, що залишилися регресорами (у регресійній моделі з k змінними є (k–1) регресор). Ця рівність є узагальнення формул (5.4.12), (5.4.15) для моделі з трьома змінними (один регресант і два регресори).