To tylko jedna z 43 stron tej notatki. Zaloguj się aby zobaczyć ten dokument.
Zobacz
całą notatkę
PODSTAWY STATYSTYCZNEJ ANALIZY DANYCH Wykład 3 Liniowe metody klasyfikacji. Wprowadzenie do klasyfikacji pod nadzorem. Fisherowska dyskryminacja liniowa. PODSTAWY STATYSTYCZNEJ ANALIZY DANYCH Wprowadzenie do klasyfikacji pod nadzorem. PODSTAWY STATYSTYCZNEJ ANALIZY DANYCH Klasyfikacja pod nadzorem Klasyfikacja jest przykładem funkcjonowania systemów uczących się czyli algorytmicznych metod uczenia się na podstawie danych Uczenie pod nadzorem: Dane: wektor zmiennych objaśniających (wejściowy) i wektor zmiennych objaśnianych (wyjściowy). Zadanie polega na nauczeniu się przez system na podstawie zaobserwowanego zbioru danych, zależności wiążącej wektor wejściowy z wektorem wyjściowym. Zadaniem systemu jest nauczenie się przewidzenia wartości wektora wyjściowego w odpowiedzi na przedstawienie wektora wejściowego. Nauka odbywa się dzięki obserwowaniu zbioru danych, tzw. zbioru uczącego (próby uczącej) Przykład: regresja liniowa algorytm uczy się nieznanych wartości parametrów funkcji regresji. PODSTAWY STATYSTYCZNEJ ANALIZY DANYCH Klasyfikacja pod nadzorem Rozważana sytuacja g niezależnych prób losowych o licznościach n1, n2, . . . , ng z g różnych populacji (g ≥ 2). Obserwacje są wektorami losowymi o tym samym wymiarze p, (p ≥ 1). Dane: x 11, x12, . . . , x1n 1 , z klasy (populacji) 1. x 21, x22, . . . , x2n 2 , z klasy (populacji) 2. .. . x g1, xg2, . . . , xgn g , z klasy (populacji) g. x ki = (x (1) ki , x (2) ki , . . . , x (p) ki ) - i-ta obserwacja z k-tej populacji. PODSTAWY STATYSTYCZNEJ ANALIZY DANYCH Klasyfikacja pod nadzorem Krótko można to zapisać jako (x i , yi ) dla i = 1, 2, . . . , n, gdzie n = n1 + n2 + · · · + ng x i oznacza i-tą obserwację yi - etykieta klasy do której należy xi , yi ∈ {1, 2, . . . , g } Mamy więc schemat: (wektor obserwacji; populacja do której wektor należy). Zadanie klasyfikacji pod nadzorem: podać regułę klasyfikacyjną przypisującą danej obserwacji przynależność do klasy ze zbioru {1, 2 . . . , g } Regułę tworzymy w oparciu o próbę uczącą. Klasyfikację pod nadzorem nazywa się też klasyfikacją z nauczycielem. PODSTAWY STATYSTYCZNEJ ANALIZY DANYCH Klasyfikacja pod nadzorem Utworzona na podstawie próby uczącej reguła pozwala każdemu zaobserwowanemu wektorowi x o którym nie wiemy do jakiej klasy należy, przypisać przynależność do pewnej klasy. Jest to zatem zadanie predykcji - przewidzenia klasy do której należy obserwacja. Reguły decyzyjne nazywamy klasyfikatorami. Tworzą one podział
(…)
… dostateczną ilość danych wraz z precyzyjną
definicją grup.
W praktyce procesy klasyfikacyjne obarczone są niepewnością
wynikającą na ogół z braku rozdzielności klas.
PODSTAWY STATYSTYCZNEJ ANALIZY DANYCH
Fisherowska dyskryminacja liniowa - przypadek dwóch klas
Ronald Fisher (1936) zaproponował algorytm liniowej analizy
dyskryminacyjnej (LDA)
Metoda prowadzi do reguły dyskryminacyjnej (klasyfikacyjnej)
opartej…
…
n−2
2
(nk − 1)Sk
k=1
Sk - próbkowe macierze kowariancji w klasach 1. i 2.
PODSTAWY STATYSTYCZNEJ ANALIZY DANYCH
Fisherowska dyskryminacja liniowa - przypadek dwóch klas
˜
Mając kierunek a najlepiej rozdzielający klasy oraz nową obserwację x o
nieznanej klasie, zaklasyfikuj x do klasy j jeżeli
˜
˜
a
|˜ T x − a T x j | < |˜ T x − a T x k |
a
dla k = j, j ∈ {1, 2}.
Definicja
˜
Zmienną a x nazywamy…
... zobacz całą notatkę
Komentarze użytkowników (0)