Magazyny danych i data lake

Wprowadzenie do inżynierii danych

Hadrien Lacroix

Content Developer

Magazyny z widokiem na jezioro

Wprowadzenie do inżynierii danych

potok danych

Wprowadzenie do inżynierii danych

Data lake a magazyny danych

Data lake

  • Przechowuje wszystkie surowe dane
  • Może mieć petabajty (1 mln GB)
  • Obsługuje wszystkie struktury danych
  • Ekonomiczne rozwiązanie
  • Trudne do analizy
  • Wymaga aktualnego katalogu danych
  • Używane przez data scientistów
  • Big data, analityka w czasie rzeczywistym

Magazyn danych

  • Określone dane do określonych celów
  • Stosunkowo mały
  • Przechowuje głównie dane ustrukturyzowane
  • Aktualizacja jest kosztowniejsza
  • Zoptymalizowany do analizy danych
  • Używany też przez analityków danych i biznesowych
  • Zapytania ad-hoc, tylko do odczytu
Wprowadzenie do inżynierii danych

Katalog danych dla data lake

  • Jakie jest źródło tych danych?
  • Gdzie są wykorzystywane te dane?
  • Kto jest właścicielem danych?
  • Jak często dane są aktualizowane?
  • Dobra praktyka w zakresie zarządzania danymi
  • Zapewnia odtwarzalność
  • Brak katalogu --> bagno danych
  • Dobra praktyka dla każdego rozwiązania do przechowywania danych
    • Niezawodność
    • Autonomia
    • Skalowalność
    • Szybkość
Wprowadzenie do inżynierii danych

Baza danych a magazyn danych

  • Baza danych:
    • Ogólny termin
    • Luźno definiowana jako zorganizowane dane przechowywane i dostępne na komputerze
  • Magazyn danych to rodzaj bazy danych
Wprowadzenie do inżynierii danych

Podsumowanie

  • Data lake
  • Magazyny danych
  • Bazy danych
  • Katalog danych
Wprowadzenie do inżynierii danych

Czas na ćwiczenia!

Wprowadzenie do inżynierii danych

Preparing Video For Download...