Datawarehouses en datalakes

Inzicht in data engineering

Hadrien Lacroix

Content Developer

Magazijnen met prachtig uitzicht op het meer

Inzicht in data engineering

pipeline

Inzicht in data engineering

Datalakes en datawarehouses

Datalake

  • Slaat alle ruwe data op
  • Kan petabytes zijn (1 miljoen GB)
  • Slaat alle datastructuren op
  • Kostenefficiënt
  • Moeilijk te analyseren
  • Vereist een actuele datacatalogus
  • Gebruikt door datascientists
  • Big data, realtime analytics

Datawarehouse

  • Specifieke data voor specifiek gebruik
  • Relatief klein
  • Slaat vooral gestructureerde data op
  • Duurder om bij te werken
  • Geoptimaliseerd voor data-analyse
  • Ook gebruikt door data- en business-analisten
  • Ad-hoc, alleen-lezen queries
Inzicht in data engineering

Datacatalogus voor datalakes

  • Wat is de bron van deze data?
  • Waar wordt deze data gebruikt?
  • Wie is de eigenaar van de data?
  • Hoe vaak wordt deze data bijgewerkt?
  • Goede praktijk voor data governance
  • Zorgt voor reproduceerbaarheid
  • Geen catalogus --> datazwamp
  • Goede praktijk voor elke dataopslagoplossing
    • Betrouwbaarheid
    • Autonomie
    • Schaalbaarheid
    • Snelheid
Inzicht in data engineering

Database vs. datawarehouse

  • Database:
    • Algemene term
    • Globaal gedefinieerd als georganiseerde data die op een computer wordt opgeslagen en geraadpleegd
  • Datawarehouse is een type database
Inzicht in data engineering

Samenvatting

  • Datalakes
  • Datawarehouses
  • Databases
  • Datacatalogus
Inzicht in data engineering

Laten we oefenen!

Inzicht in data engineering

Preparing Video For Download...