Wykład - Pożądane cechy narzędzi ETL

Hurtownie danych prof. dr hab. Jerzy Gołuchowski
Wykład 4
Pożądane cechy narzędzi ETL
ETL to zbiór narzędzi, które potrafią czytać dane z wielu źródeł, przekształcać je w sposób zgodny z przeznaczeniem i załadować je do odpowiedniego repozytorium
Automatyczny ruch danych pomiędzy źródłami, a miejscami przeznaczenia (BD, HD, ODS)
Rozszerzalne skalowalne odporne na błędy
Wspomagające standardy wewnątrz i na zewnątrz firmy
Wieloużywalne i wyposażone w wiele predefiniowanych funkcji
Dobrze wykorzystujące zasoby sprzętowe
Wspomagające zarządzanie metadanymi
Dostarczające środowiska działającego zgodnie z zasadą "pracy tak jak to zostało pomyślane"
 
Kryteria oceny narzędzi ETL
Liczba wspieranych połączeń między różnymi źródłami danych: systemami zarządzania bazami danych, plików płaskich, XML, pliki logowania, kolejek danych i innych strumieni danych
Możliwości sposobów pracy wsadowej i interakcyjnej
Wspieranie ładowania pełnego i przyrostowego (uwzględniamy wartości już istniejące - czy nowe wartości są spójne z zastanymi), kontrola zmian wartości
Wspieranie działań związanych z konwersją danych, działaniami na łańcuchach, wykonywanie obliczeń, wyprowadzanie nowych wartości
Możliwość działania na meta danych, automatyczne wykrywanie typów, tworzenie repozytoriów meta danych, słowników
Narzędzia graficznego projektowania przepływów i rozwijania aplikacji (wersjonowanie, wsparcie dla pracy grupowej)
Narzędzia oceny jakości danych i korekty błędów
Liczba wspieranych platform
 
Tam gdzie się da robimy wsadowe (użytkownik inicjuje rozpoczęcie i dostaje dane wyjściowe; człowiek nie przeszkadza programom - szybsze; mniej błędów; człowiek może robić coś innego; mniej kodu - bez interfejsu - tańsze), a jak się nie da interaktywne (ciągła wymiana danych)
 
Dedykowane rozwiązania ETL (dla problemów jednorazowych)
Cechy dedykowanych rozwiązań ETL
Realizowane przez procedury przechowywane po stronie serwera
Wykorzystują utworzone specjalnie widoki danych w celu filtrowania danych zmieniają postaci plików i danych poprzez programy pisane przez programistów
Wspierają przyrostowe ładowanie danych
Wspierają oczyszczanie danych
Generują logi z wykonania
 
Dostawcy narzędzi ETL
DataStage (duża wizjonerska firma)
Informatica (firma duża, uznana, specjalizuje się w ETL, najdroższa)
SAS ETL Server (narzędzia wbudowane w środowisko SAS, produkt uboczny)
... zobacz całą notatkę