To tylko jedna z 10 stron tej notatki. Zaloguj się aby zobaczyć ten dokument.
Zobacz
całą notatkę
Business Intelligence prof. UE dr hab. Maria Mach-Król
Wykład 5
Hurtownie danych - data mining i pomiar wiedzy
Typy hurtowni danych
Sposób przechowywania i przetwarzania wielowymiarowego modelu w HD:
HD wykorzystująca model relacyjny ROLAP (Relational OLAP)
HD wykorzystująca model wielowymiarowy MOLAP (Multidimensional OLAP)
HOLAP (Hybrid OLAP)
Modele przetwarzania danych
Wyróżnia się 2 podstawowe modele przetwarzania danych w bazach danych:
OLTP (on-line transaction processing)
OLAP (on-line analytical processing)
Modele przetwarzania danych - OLTP
OLTP (on-line transaction processing) - efektywne przetwarzanie dużej liczby prostych transakcji modyfikujących i zapewnienie spójności danych
Realizowane w klasycznych bazach danych
Dotyczy bieżących danych elementarnych
Krótkie transakcje o statycznej strukturze
Typowe operacje to pojedyncze modyfikacje i zapytania
Modele przetwarzania danych - OLAP
OLAP (on-line analytical processing) - efektywna wielowymiarowa analiza dużych wolumenów danych
Realizowana w hurtowniach danych
Dotyczy wielowymiarowych danych historycznych
Sesje użytkowników mają charakter ad hoc
Typowe operacje to złożone zapytania przetwarzające duże wolumeny danych
Ze względu na brak operacji modyfikacji nie występują klasyczne problemy spójności danych
Przetwarzanie analityczne OLAP
Jego zadaniem jest wspieranie procesów analizy HD
Analiza - to obliczanie agregatów dla zadanych wymiarów HD
Logiczny model danych
struktury danych (logiczna organizacja danych i sposób, w jaki je postrzegają użytkownicy)
zbiór operatorów umożliwiających wyszukiwanie i modyfikację danych
ograniczenia integralnościowe, specyfikujące poprawność danych
Potrzeba przetwarzania analitycznego:
analiza działalności przedsiębiorstwa
analiza trendów i anomalii
zarządzanie przedsiębiorstwem
opracowanie strategii marketingowej
analiza rentowności inwestycji itp.
Aplikacje analityczne wymagają:
integracji danych
złożonej analizy danych
eksploracji danych
Specyfika aplikacji analitycznych
Dane dotyczące działalności firm są zazwyczaj rozproszone i heterogeniczne
Przetwarzanie analityczne danych jest konfliktowe z przetwarzaniem operacyjnym
Wymagany dostęp do danych historycznych
Intensywne i złożone przetwarzanie danych w trybie
(…)
…. identyfikacji firm o podobnych wzorcach wzrostu, produktów o podobnych wzorcach sprzedaży, obrazów o podobnych wzorcach pogody, cechach geologicznych, zanieczyszczeniu środowiska, itp. Przykłady danych tego typu:
dane finansowe na potrzeby indeksów giełdowych, medyczne bazy danych, bazy multimedialne, itp Klasyfikacja danych - proces podziału zbioru danych na klasy (kategorie), gdzie pojęcie klasa - oznacza…
…
Z każdym wymiarem związany jest zbiór atrybutów
Atrybuty opisujące pojedynczy wymiar tworzą hierarchię wymiaru, która umożliwia definiowanie różnych poziomów agregacji danych (zasadniczy cel budowy systemu OLAP)
Relational OLAP (ROLAP)
Dane są przechowywane w specjalizowanych relacjach
Charakteryzuje się dużą skalowalnością i elastycznością
W stosunku do MOLAP cechuje się niższą efektywnością
MOLAP - Wielowymiarowy OLAP (Multidimensional OLAP)
Dane przechowywane są w specjalizowanych wielowymiarowych tablicach (multidimensional arrays) zwanych też kostkami danych (data cubes) Tablice zawierają wstępnie przetworzone dane (zagregowane)
Charakteryzuje się wysoką efektywnością wielowymiarowego przetwarzania danych
W stosunku do ROLAP - gorsza skalowalność i elastyczność
Schemat logiczny HD
Najczęściej stosuje…
... zobacz całą notatkę
Komentarze użytkowników (0)