Regresja prosta

METODA NAJMNIEJSZYCH KWADRATÓW. REGRESJA PROSTA SZACOWANIE PARAMETRÓW REGRESJI PROSTEJ Przypuszczamy, że związek miedzy zmiennymi jest liniowy:
y i =  0 +  1  x i +  i (1) gdzie:  0 i  1 - parametry,  i - składnik losowy, i - numer obserwacji, i =1,2, …, n Oszacowanie zmiennej zależnej:
(2) gdzie: b 0 i b 1 - oszacowania parametrów  0 i  1 Metoda najmniejszych kwadratów (MNK) dobrać parametry b 0 i b 1 tak, aby zminimalizować sumę kwadratów odchyleń (reszt) wartości zmiennej zależnej od jej oszacowań (SSE):
(3) gdzie:
(4) Układ równań normalnych ( z warunku koniecznego istnienia ekstremum funkcji)
(5) oznaczenia: , (6) (7) oznaczenia:
(8) (9) (10) UWAGA: Otrzymane rozwiązanie nie wymagało czynienia żadnych założeń co do  , x i y . Parametry określone wzorami (10) dają najmniejszą sumę kwadratów reszt dla danego zestawu obserwacji x­ i i y i , gdzie i=1,2,…,n. Dodatkowe założenia są konieczne, jeżeli chcemy wyniki uogólnić na całą populację.
Podstawowe założenia metody najmniejszych kwadratów Aby parametry modelu posiadały pewne pożądane własności muszą być spełnione następujące założenia:
1. Zmienne niezależne są nielosowe
2. Składniki losowe mają rozkłady normalne o średniej 0 i wariancji σ 2 . 3. Składniki losowe  i i  j są niezależne dla każdego i  j .
Przykład (Interpretacja geometryczna) BŁEDY MODELU REGRESJI PROSTEJ Błędy modelu:
 średni błąd kwadratowy MSE= (11)  standardowy błąd szacunku (12) = + (13) całkowita suma suma kwadratów suma kwadratów
kwadratów błędów odchyleń regresyjnych
S YY SSE SSR
Współczynnik determinacji (14) Własności: , r 2 
Ocena liniowego modelu regresyjnego: r 2 

(…)

….
Brak podstaw do odrzucenia hipotezy zerowej na poziomie istotności  jeśli:
Femp > F,1,n-2 Istotność Femp: P(F1,n-2 ≥ Femp)
Excel:
F,1,n-2= ROZKŁAD.F.ODW (; 1; n-2)
P(F1,n-2 ≥ Femp)= ROZKŁAD.F(Femp;1;n-2)
Wyniki analizy regresji:
Źródło zmienności
Suma kwadratów odchyleń
Liczba stopni swobody
Średnie kwadratowe odchylenia
Iloraz F
Istotność F (prawdopodobieństwo)
Regresja
SSR
1
Femp= P(F1,n-2≥Femp…
... zobacz całą notatkę