Jakie są warstwy hurtowni danych?

Koncepcje hurtowni danych

Aaren Stubberfield

Data Scientist

Przegląd warstw – źródło danych

Przegląd warstw – warstwa pośrednia

Przegląd warstw – warstwa przechowywania

Przegląd warstw – warstwa prezentacji

Warstwa źródłowa danych

• Wszystkie źródła danych dla hurtowni

• Przykłady źródeł danych:

  • Baza transakcyjna
  • Pliki dzienników
  • Arkusze kalkulacyjne

Warstwa pośrednia (staging)

• Warstwa wyodrębnia, transformuje i czyści dane przez ETL
• Zawiera proces ETL i tabele przechowywania

Proces ETL w warstwie pośredniej

• Wyodrębnianie
• Stosowanie reguł biznesowych i czyszczenie
• Często używana baza pośrednia
• Możliwość wyodrębniania poprawnych danych
• Ładowanie wsadowe / pełne

Warstwa przechowywania danych

• Dane przechowywane w hurtowni i data martach
  • Hurtownia danych -> Data mart
  • Data mart -> Hurtownia danych

Warstwa prezentacji danych

• Użytkownicy pracują z przechowywanymi danymi
• Użytkownicy:
  • Korzystają z narzędzi BI (Business Intelligence)
  • Korzystają z narzędzi data mining
  • Tworzą bezpośrednie zapytania

Podsumowanie

Czas na ćwiczenia!

Koncepcje hurtowni danych