To tylko jedna z 46 stron tej notatki. Zaloguj się aby zobaczyć ten dokument.
Zobacz
całą notatkę
PODSTAWY STATYSTYCZNEJ ANALIZY DANYCH Wykład 4 Dyskryminacja oparta na regresji liniowej i logistycznej. Perceptron Rosenblatta. PODSTAWY STATYSTYCZNEJ ANALIZY DANYCH Dyskryminacja oparta na regresji liniowej i logistycznej PODSTAWY STATYSTYCZNEJ ANALIZY DANYCH Wprowadzenie Problem analizy dyskryminacyjnej jest ściśle związany z zagadnieniem analizy regresji: Analiza dyskryminacyjna jest zadaniem estymacji funkcji, będącej w tym przypadku funkcją o kilku wartościach liczbowych (będących indeksami klas) W przypadku tylko dwóch klas (g = 2) zakodowanych jako {0, 1} E (Y |x) = 0 · P(Y = 0|x) + 1 · P(Y = 1|x) = P(Y = 1|x) Zatem zadanie analizy dyskryminacyjnej można przedstawić jako zadanie analizy regresji z funkcją regresji równą P(Y = 1|x). Podobnie dla większej liczby klas (g 2) analizę dyskryminacyjną można przedstawić jako zadanie wielowymiarowej analizy regresji, czyli analizy regresji z wektorową zmienną objaśnianą. PODSTAWY STATYSTYCZNEJ ANALIZY DANYCH Dyskryminacja jako zadanie regresji liniowej Zadanie analizy dyskryminacyjnej można zatem rozwiązywać metodami stosowanymi w analizie regresji. Funkcję E (Y |x) można estymować za pomocą liniowej funkcji zmiennych x(j), j = 1, 2, . . . , p. Klasyfikacja do klas odbywa się na podstawie wartości prawdopodobieństw P(Y = 1|x ), tzn.: Jeśli dla danej obserwacji x, P(Y = 1|x) 1 2 , obserwacja jest klasyfikowana jako należąca do klasy 1 Jeśli P(Y = 1|x)
(…)
… równania regresji odbywa się za pomocą
uogólnionej metody najmniejszych kwadratów :
Mamy do estymacji g · (p + 1) parametrów.
ˆ
Rozwiązaniem zadania estymacji jest zatem pewna macierz B
wymiarów (p + 1) × g .
Uogólniona metoda najmniejszych kwadratów polega na wyznaczeniu
ˆ
macierzy B spełniającej warunek
n
y i − [1, x i ]B
min
B
2
,
i =1
gdzie dla α = (α1 , α2 , . . . , αg )
g
α
2
2
αj
=
j=1…
…
gdzie yi =
˜
1,
−1,
1
2
n
(˜i − HL(w T x i ))w T z i ,
y
i=1
gdy x i pochodzi z klasy 1.
gdy x i pochodzi z klasy 2.
Zatem kryterium przyjmuje wartość 0, gdy
˜
y = (HL(w T x 1 ), . . . , HL(w T x n ))T
˜
Jest więc miarą różnicy pomiędzy wektorami y a
(w T x 1 , . . . , w T x n )T , czyli miarą różnicy
˜
y − Xw.
PODSTAWY STATYSTYCZNEJ ANALIZY DANYCH
Optymalizacja wag metodą MNK
W metodzie najmniejszych…
… notacji możemy napisać
p(k|x) = E (y (k) |x)
ˆ
a zatem [1, x]B jest liniowym estymatorem prawdopodobieństw a
posteriori p(k|x) dla k = 1, 2, . . . , g .
PODSTAWY STATYSTYCZNEJ ANALIZY DANYCH
Budowany klasyfikator opiera się na regule Bayesa, z tą różnicą, że
zamiast prawdziwych wartości prawdopodobieństw a posteriori stosuje się
ich liniowe estymatory (ponieważ są nieznane).
Dla każdej wartości x
g
y (k…
... zobacz całą notatkę
Komentarze użytkowników (0)