Datové sklady a datová jezera

Understanding Data Engineering

Hadrien Lacroix

Content Developer

Sklady s výhledem na jezero

Understanding Data Engineering

datový pipeline

Understanding Data Engineering

Datová jezera a datové sklady

Datové jezero

  • Ukládá všechna nezpracovaná data
  • Může dosahovat petabajtů (1 milion GB)
  • Ukládá všechny datové struktury
  • Nákladově efektivní
  • Obtížná analýza
  • Vyžaduje aktuální datový katalog
  • Využívají datoví vědci
  • Big data, analýza v reálném čase

Datový sklad

  • Specifická data pro specifické použití
  • Relativně malý
  • Ukládá převážně strukturovaná data
  • Aktualizace je nákladnější
  • Optimalizován pro analýzu dat
  • Využívají i datoví a obchodní analytici
  • Ad-hoc dotazy pouze pro čtení
Understanding Data Engineering

Datový katalog pro datová jezera

  • Jaký je zdroj těchto dat?
  • Kde se tato data využívají?
  • Kdo je vlastníkem dat?
  • Jak často jsou data aktualizována?
  • Dobrá praxe v oblasti správy dat
  • Zajišťuje reprodukovatelnost
  • Bez katalogu → datové bažiště
  • Dobrá praxe pro každé řešení ukládání dat
    • Spolehlivost
    • Autonomie
    • Škálovatelnost
    • Rychlost
Understanding Data Engineering

Databáze vs. datový sklad

  • Databáze:
    • Obecný termín
    • Volně definována jako organizovaná data uložená a přístupná na počítači
  • Datový sklad je typ databáze
Understanding Data Engineering

Shrnutí

  • Datová jezera
  • Datové sklady
  • Databáze
  • Datový katalog
Understanding Data Engineering

Pojďme si procvičit!

Understanding Data Engineering

Preparing Video For Download...