Czym różnią się hurtownie danych od jezior danych?

Koncepcje hurtowni danych

Aaren Stubberfield

Data Scientist

Baza danych

• Dane strukturalne w wierszach i kolumnach
• Transakcyjne bazy danych przechowują transakcje

Hurtownia danych

• Gromadzenie, integracja i udostępnianie danych do analizy
• Wiele źródeł danych wejściowych
• Przechowuje dane strukturalne
• Złożone wprowadzanie zmian
  • Należy uwzględnić efekty zależnościowe
• Zazwyczaj ponad 100 GB

Dlaczego hurtownia danych?

• Szybkość wykonywania zapytań na dużych zbiorach danych
• Unikanie spowalniania transakcyjnej bazy danych

Data marty

• Relacyjna baza danych do analizy
• Dane dotyczą jednego obszaru tematycznego
• Niewiele źródeł danych wejściowych
• Zazwyczaj mniej niż 100 GB

Jezioro danych

• Magazyn danych całej organizacji
  • Dane z wielu działów
  • Wiele źródeł danych wejściowych
  • Zazwyczaj ponad 100 GB
• Przechowuje dane strukturalne i niestrukturalne
  • Przykłady: wideo, audio, dokumenty

Jezioro danych

• Łatwiejsze wprowadzanie zmian
  • Mniej efektów zależnościowych do uwzględnienia
• Cel przechowywania danych może być nieznany
  • Mniej zorganizowane

Podsumowanie

Cecha	Hurtownia danych	Data mart	Jezioro danych
Struktura danych	Strukturalne	Strukturalne	Strukturalne i niestrukturalne
Złożoność zmian	Złożona	Złożona	Mniej złożona
Cel danych	Znany	Znany	Może być nieznany
Zasięg działów	Wiele działów	Jeden dział	Wiele działów
Źródła danych	Wiele systemów źródłowych	Kilka źródeł	Wiele systemów źródłowych
Typowy rozmiar	>100 GB	<100 GB	>100 GB

Czas na ćwiczenia!

Koncepcje hurtowni danych