Wat is het verschil tussen datawarehouses en datalakes?

Concepten van datawarehousing

Aaren Stubberfield

Data Scientist

Database

• Gestructureerde data in rijen en kolommen
• Transactionele databases slaan transacties op

Datawarehouse

• Verzamelen, integreren en beschikbaar maken voor analyse
• Veel databronnen
• Slaat gestructureerde data op
• Wijzigen is complex
  • Opwaartse en neerwaartse effecten meenemen
• Meestal >100 GB

Waarom het datawarehouse?

• Hoe snel een query draait op veel data
• Voorkom vertraging van transactionele database

Datamarts

• Een relationele database voor analyse
• Data rond één domein
• Weinig brondatasets
• Meestal <100 GB

Datalake

• Gehele organisatiebrede opslag
  • Bevat data van veel afdelingen
  • Veel databronnen
  • Meestal >100 GB
• Slaat gestructureerde en ongestructureerde data op
  • Voorbeelden: video, audio en documenten

Datalake

• Minder complex om te wijzigen
  • Minder opwaartse en neerwaartse effecten
• Doel van opslag kan onbekend zijn
  • Minder georganiseerd

Samenvatting

Feature	Datawarehouse	Datamart	Datalake
Datastructuur	Gestructureerd	Gestructureerd	Gestructureerd & ongestructureerd
Complexiteit van wijzigingen	Complex	Complex	Minder complex
Doel van data	Bekend	Bekend	Kan onbekend zijn
Dekking afdelingen	Veel	Eén	Veel
Databronnen	Veel bronsystemen	Weinig bronnen	Veel bronsystemen
Typische grootte	>100 GB	<100 GB	>100 GB

Laten we oefenen!

Concepten van datawarehousing