МНК для парної лінійної регресії

Зв’язок між показником та фактором з урахуванням можливих відхилень запишемо у вигляді:

де – результативна змінна; – факторна змінна; – стохастична складова, яка вводиться до моделі з метою урахувати наявність впливу факторів, які не входять до моделі, – параметри моделі.

Залежність:

де та – оцінки параметрів моделі, яка характеризує середнє значення показника для кожного значення фактора, називається регресією.

Щоб оцінити параметри моделі необхідно сформувати сукупність спостережень, кожна одиниця якої характеризуватиметься значеннями змінних та . Множину точок на координатній площині, які відповідають парам значень показника та фактора, називають кореляційним полем точок.

На підставі гіпотези про лінійність зв’язку між показником та фактором, через кореляційне поле точок можна провести безліч прямих, які різняться між собою параметрами та . Те, що відхилення фактичних значень від розрахункових матимуть переважно знак «-» чи «+», підтверджує, що вони мають невипадковий характер, тобто пряма лінія неадекватно описує залежність.

Справжні значення параметрів обчислити не можливо, оскільки ми маємо обмежене число спостережень, тому знайдені розрахункові значення параметрів та є статистичними оцінками справжніх параметрів і .

Принцип найменших квадратів відхилень полягає в знаходженні таких оцінок та , для яких сума квадратів відхилень теоретичних значень показника від фактичних найменша. Необхідна умова для цього – рівні нулю частинні похідні цієї функції за кожною з оцінок параметрів та .

Тоді

Виконавши елементарні перетворення, дістанемо систему нормальних рівнянь:

Розв’язавши цю систему, ми отримаємо формули, на основі яких можна обчислити значення оцінок параметрів та :

, .

Остання формула випливає не з системи рівнянь, а з суті методу найменших квадратів. Оцінки найменших квадратів такі, що лінія регресії обов’язково проходить через точку . Підставивши середні значення змінних в рівняння регресії, ми знайдемо оцінку параметра .