Wykład - Metoda najmniejszych kwadratów

EKONOMETRIA
Prof. UE dr hab. Józef Biolik Wykład 2
Metoda najmniejszych kwadratów
MNK służy do szacowania parametrów: Równań liniowych względem parametrów
Równań sprowadzalnych do postaci liniowej względem parametrów
Należy oszacować parametr strukturalne równania liniowego z jedną zmienną objaśniającą dysponując obserwacjami na zmiennej Y i X: Istota MNK sprowadza się do tego, by wyznaczyć ocenę a1 parametru α1 i ocenę a2 parametru α2, a tym samym wyznaczyć wartości yi*
yi*=a1xi+a2 w taki sposób, aby zminimalizować sumę kwadratów różnic pomiędzy rzeczywistymi realizacjami yi, a wartościami teoretycznymi yi*.
Postulat ten wyraża funkcja - kryterium MNK:
Należy znaleźć min funkcji dwóch niewiadomych:
W tym celu należy znaleźć pochodne cząstkowe i przyrównać je do zera. Jest to funkcja złożona: Po obliczeniu pochodnych otrzymuje się układ równań normalnych:
,
który należy przekształcić do postaci:
czyli:
W zapisie macierzowym:
czyli:
Ten układ spełnia warunek konieczny istnienia minimum. Nazywa się układem równań normalnych.
Wektor ocen parametrów strukturalnych otrzymuje się rozwiązując powyższy układ równań, czyli: Warunek wystarczający istnienia minimum jest też spełniony, bo macierz drugich pochodnych jest równa i jest dodatnio określona. W przypadku funkcji układ równań ma postać:
Regresja - eXcel [narzędzia - dodatki - analiza danych]
Parametry rozkładu składnika losowego (parametry stochastycznej struktury modelu)
Strukturalno-statystyczny zapis obserwacji
realizacje yi zmiennej Y przedstawia następujący zapis obserwacji: ; ξ - wektor realizacji składnika losowego
Rezultat losowania i-tej realizacji składnika losowego ξ traktowany jest jako zmienna losowa
jednowymiarową zmienną losową charakteryzuje się rozkład prawdopodobieństwa albo za pomocą parametrów tego rozkładu: nadziei i wariancji.
Wektor zmiennych ξ1, ξ2, …, ξn jest wielowymiarową zmienną losową, którą charakteryzuje się za pomocą rozkładu wielowymiarowego albo za pomocą parametrów rozkładu wielowymiarowego: nadziei matematycznych E(ξ)
wariancji D2(ξ)
kowariancji pomiędzy parami zmiennych
Macierz autokorelacji Po zestandaryzowaniu wszystkich elementów macierzy otrzymuje się macierz autokorelacji składników losowych

(…)

… E(ξ)
wariancji D2(ξ)
kowariancji pomiędzy parami zmiennych
Macierz autokorelacji Po zestandaryzowaniu wszystkich elementów macierzy otrzymuje się macierz autokorelacji składników losowych
Współczynnik autokorelacji jest miarą unormowaną w przedziale [-1;1], dlatego wolimy posługiwać się współczynnikiem autokorelacji zamiast kowariancji.
Macierz wariancji i kowariancji
Na głównej przekątnej…
... zobacz całą notatkę