Оцінювання парамерів моделі метoдом найменших квадратів (реферат)

РЕФЕРАТ

на тему:

ОЦІНЮВАННЯ ПАРАМЕРІВ МОДЕЛІ.

МЕТOДОМ НАЙМЕНШИХ КВАДРАТІВ

ОЦІНЮВАННЯ ПАРАМЕРІВ МОДЕЛІ.

МЕТДОМ НАЙМЕНШИХ КВАДРАТІВ Звернемося до прикладу простої економічної моделі, де потрібно кількісно оцінити зв’язок між витратами на споживання та доходами сім'ї. Щоб оцінити параметри моделі необхідно сформувати сукупність спостережень, кожна одиниця якої характеризується витратами на споживання і доходами сімей. Припустимо, що економетрична модель споживання будується для тієї групи людей, в якій зі збільшенням доходів зростають витрати на споживання.

Зобразимо кожну пару спостережень у системі координат, де величина витрат на споживання відкладається на осі ординат, а доходів — на осі абсцис. У результаті дістанемо кореляційне поле точок. (рис. 1.1.).

у.

І.

ІІ.

ІІІ.

х.

Рис. 1.1. Корекційне поле точок

На підставі гіпотези про лінійність, зв’язку між витратами па споживання і доходом сімей (див. Рис. 1.1), через кореляційне поле точок можна провести безліч прямих ліній, які різняться між собою параметрами а0 і а1. Так, якщо витрати на споживання описувати­муться прямою І, то відхилення їх фактичних значень від розрахун­кових матимуть переважно знак «мінус». Якщо вони описуватиму­ться прямою III, то ці відхилення будуть переважно додатними, а якщо прямою II, то кількість від'ємних і додатних відхилень буде приблизно однаковою. Наявність серед відхилень переважно від'єм­них чи додатних значень підтверджує, що вони мають невипадковий характер. А це означає: певна пряма лінія неадекватно описує факти­чну залежність між витратами на споживання і доходом сімей. Звідси постає задача — застосувати метод найменших квадратів для оціню­вання параметрів моделі, щоб відхилення фактичних витрат від роз­рахункових на основі прямої мали приблизно однакову суму від'єм­них і додатних значень, а також були б найменшими. Останнє свідчи­тиме про те, що розрахункові значення витрат на споживання макси­мально наближені до фактичних, а це є гарантом достовірності моделі.

Недоцільно знаходити параметри економетричної моделі, мінімі­зуючи суму лінійних відхилень фактичних витрат на споживання від розрахункових, бо вона може дорівнювати нулю, якщо сума від'ємних і додатних відхилень буде однаковою. Тому мінімізації підлягає сума квадратів відхилень, і величина її залежатиме безпо­середньо від розсіювання точок навколо лінії регресії, а саме:

$$\text{min}\left\{\underset{i=1}{\overset{n}{}}{u}_i^2\right\}=f(\stackrel{}{a_0,}$$ $$\stackrel{}{a_1})$$ .

Принцип найменших квадратів відхилень полягає в знаходженні таких $$a_0$$ і $$a_1$$ ,.

для яких $$\underset{i=1}{\overset{n}{}}{u}_i^2$$, найменша. Необхідна умова для цього в рівних нулю частинах похідних цієї функції за кожним із парамет­рів $$a_0$$ і $$a_1$$ .Метод, який реалізує цей принцип, називається методом найменших квадратів (1МНК). Зауважимо, що 1МНК можна засто­совувати лише тоді, коли залишки розподілені нормально, тобто се­реднє їх значення дорівнює нулю і дисперсія — константа. Оскільки.

$$$$ $$\underset{i=1}{\overset{n}{}}{u}_i^2$$ = $$\underset{i=1}{\overset{n}{}}(y_i-$$ $$\stackrel{}{a_0}$$ — $$\stackrel{}{a_1}$$ $$x_1{)}^2$$, то $$\begin{array}{c}\frac{(\underset{i=1}{\overset{n}{}}{u}_i^2)}{a_0}=-2\underset{i=1}{\overset{n}{}}(y_1{a}_0-a_1{x}_1)=0\\ \frac{(\underset{i=1}{\overset{n}{}}{u}_i^2}{a_1}=-2\underset{i=1}{\overset{n}{}}{x}_1(y_1-a_0-a_1{x}_1)=0\\ \\ \begin{array}{c}\{\end{array}\hfill \\ \end{array}$$.

Виконавши елементарні перетворення, дістанемо систему нор­мальних рівнянь.

$$\begin{array}{c}{\text{na}}_0+a_1\underset{i=1}{\overset{n}{}}{x}_1=\underset{i=1}{\overset{n}{}}{y}_i\\ a_0\underset{i=1}{\overset{n}{}}{x}_i+a_1\underset{i=1}{\overset{n}{}}{x}_i^2=\underset{i=1}{\overset{n}{}}{x}_i{y}_i\\ \\ \begin{array}{c}\{\end{array}\hfill \\ \end{array}$$.

Підставимо в систему (2.19) значення $$\underset{i=1}{\overset{n}{}}{x}_i,$$ $$\underset{i=1}{\overset{n}{}}{y}_i,$$ $$\underset{i=1}{\overset{n}{}}{x}_i^2,$$ $$\underset{i=1}{\overset{n}{}}{x}_i{y}_i$$.

які обчислені на основі сукупності спостережень, і розв’яжемо її відносно невідомих оцінок параметрів $$a_0$$ і $$a_1$$ :

$$a_1=\frac{\underset{i=1}{\overset{n}{}}{x}_1\underset{i=1}{\overset{n}{}}{y}_1-n\underset{i=1}{\overset{n}{}}{x}_1{y}_1}{{\left(\underset{i=1}{\overset{n}{}}{x}_1\right)}^2-n\underset{i=1}{\overset{n}{}}{x}_i^2}-$$ $$a_0=\frac{\underset{i=1}{\overset{n}{}}{x}_1\underset{i=1}{\overset{n}{}}{y}_1-\underset{i=1}{\overset{n}{}}{x}_i^2\underset{i=1}{\overset{n}{}}{y}_1}{{\left(\underset{i=1}{\overset{n}{}}{x}_1\right)}^2-n\underset{i=1}{\overset{n}{}}{x}_i^2}-$$.

Оскільки оцінки найменших квадратів такі, що лінія регресії обов’язково проходить через точку середніх значень ($$\stackrel{}{x}$$

.

$$\stackrel{}{y}$$

), то оцін­ки параметрів моделі можна знайти дещо інакше.

.

Поділивши перше рівняння системи (1.1) на п, дістанемо:

$$\stackrel{}{Y}=a_0+a_1\stackrel{}{X}$$ (1.2.).

Віднімемо (1.2) від $$Y_i$$.

$$Y-Y=a_1(X_1-\stackrel{}{X})$$.

Нехай $$Y_1-\stackrel{}{Y}=y_i,X_i-\stackrel{}{X}=x_1$$ і $$Y-Y=y_1$$, тоді.

$$y_i=a_1{x}_1$$ ,.

а відхилення фактичних значень від розрахункових будуть такі:

$$u_i=y_1-y_i=y_i-a_1{x}_i$$.

Сума квадратів залишків при цьому.

$$\underset{i=1}{\overset{n}{}}{u}_i^2$$ = $$\underset{i=1}{\overset{n}{}}(y_i-a_1{x}_i{)}^2$$.

Мінімізація цієї суми за невідомою оцінкою параметра я, дає співвідношення.

$$a_1=\frac{\underset{i=1}{\overset{n}{}}{x}_i{y}_i}{\underset{i=1}{\overset{n}{}}{x}_i^2}$$ (1.3).

Крім того, можна помітити, що $$\frac{{}^2\left(\underset{i=1}{\overset{n}{}}{u}_i^2\right)}{a_1^2}=2\underset{i=1}{\overset{n}{}}{x}_i^2$$ тобто друга похідна за параметром $$a_1$$ — від суми квадратів відхилень додатна. Отже, знайдене значення $$a_1$$ відповідає мінімуму суми квадратів відхилень.

Оцінку параметра $$a_0$$ можна обчислити, використавши співвід­ношення (1.2.).

$$a_0=\stackrel{}{Y}-a_1\stackrel{}{X}$$ (1.4).

Співвідношення (1.3), можна було б дістати також, записавши друге рівняння системи (1.1) через відхилення кожної змінної від її середнього арифметичного значення, згадавши при цьому, що сума таких відхилень завжди дорівнює нулю.