WYKŁAD 2 Jednorównaniowy modelekonometryczny (model regresji liniowej)
Metoda Najmniejszych Kwadratów (MNK)
Założenia MNK
Własności estymatorów MNK
Estymatory MNK - przykład
Współczynnik determinacji
Koincydencja
Kataliza i współliniowość zmiennych
Metoda Najmniejszych Kwadratów (MNK) y = a 0 + a 1 x 1 + a 2 x 2 + ... + a k x k + ε y = a 0 + a 1 x 1t + a 2 x 2t + ... + a k X kt + ε t , gdzie t=1,...,n y = Xa + ε Metoda regresji liniowej polega na obliczeniu oceny ( wartości ) estymatora a takiej, która minimalizuje odległość euklidesową między wektorami ( punktami ) y i w N-wymiarowej przestrzeni euklidesowej E N , tzn. minimalizuje tzw. sumę resztową , która w zapisie skalarnym jest postaci: S(a) = (y n - n ) 2 = e n 2 a w zapisie macierzowym jest postaci: S(a) = (y - X a) T (y - X a) Z tego równania wynika: S(a) = y T y - a T X T y - y T Xa + a T X T Xa = y T y - 2y T Xa + a T X T Xa a z warunku wyznaczenia minimum dla funkcji S(a) wynika: dS/da = -2X T y + 2X T Xa = 0 Czyli układ równań normalnych ma postać: X T Xa = X T y skąd ostatecznie otrzymuje się następujący wzór na wektor estymatorów regresji liniowej : a = (X T X) -1 X T y Warunkiem istnienia rozwiązania zadania regresji liniowej jest nieosobliwość macierzy X T X , tzn. spełnienie warunku: det(X T X) 0 Wartości teoretyczne:
t = a 0 + a 1 x 1t + a 2 x 2t +. ..+a k x kt , t = 1, 2, ... , n = Xa Reszty:
, t = 1,2,...,n a = (X T X) -1 X T y Założenia MNK
Wzór MNK: a = (X T X) -1 X T y Założenia MNK :
Zmienne objaśniające X są nielosowe i nieskorelowane ze składnikiem losowym e
rz( X ) = k+1 £n (liczba obserwacji n jest większa od liczby szacowanych parametrów: k zmiennych + 1 wyraz wolny)
E(e)=0 (wartość oczekiwana składnika losowego wynosi 0) D 2 (e) = E (ee T ) = s 2 I, s 2
(…)
…(XTX) 0
Wartości teoretyczne:
t = a0 + a1x1t + a2x2t+...+akxkt, t = 1, 2, ... , n
= Xa
Reszty:
, t = 1,2,...,n
a = (XTX)-1 XTy
Założenia MNK
Wzór MNK: a = (XTX)-1 XTy
Założenia MNK:
Zmienne objaśniające X są nielosowe i nieskorelowane ze składnikiem losowym e
rz(X) = k+1 £n (liczba obserwacji n jest większa od liczby szacowanych parametrów: k zmiennych + 1 wyraz wolny)
E(e)=0 (wartość oczekiwana…
… on oceniać przeparametryzowanie modelu)
Niescentrowany współczynnik determinacji (model bez wyrazu wolnego)
Współczynnik determinacji jest miarą dopasowania modelu do danych. Jeżeli współczynnik ten jest niski to dopasowanie jest słabe. Podaje on więc jaka część zmienności zmiennej objasnianej jest wyjaśniona przez zmienne objaśniające x1 , x2 … xk występujące w modelu.
Dotyczy to przypadku gdy zmienne x1…
… składnika losowego wynosi 0)
D2(e) = E(eeT) = s2I, s2<¥ (macierz wariancji-kowariancji jest macierzą diagonalną: tylko elementy na głównej przekątnej są niezerowe; w której wszystkie elementy na głównej przekątnej są równe s2, tzn. każdy składnik losowy ma jednakową wariancję równą s2, składniki losowe są ze sobą nieskorelowane)
et~N(0,s) dla t=1,2,…,n. (każdy składnik losowy ma rozkład normalny)
Własności…
... zobacz całą notatkę
Komentarze użytkowników (0)