Vad är skillnaden mellan datalager och datasjöar?

Koncept för datalager

Aaren Stubberfield

Data Scientist

Databas

• Strukturerad data i rader och kolumner
• Transaktionsdatabaser lagrar transaktioner

Datalager

• Samlar, integrerar och tillgängliggör data för analys
• Många indatakällor
• Lagrar strukturerad data
• Komplicerat att förändra
  • Effekter uppströms och nedströms måste beaktas
• Typisk storlek >100 GB

Varför ett datalager?

• Hur snabbt frågan körs mot stora datamängder
• Undviker belastning på transaktionsdatabasen

Datamartar

• En relationsdatabas för analys
• Data fokuserat på ett ämnesområde
• Få indatakällor
• Typisk storlek <100 GB

Datasjö

• Hela organisationens datalager
  • Innehåller data från många avdelningar
  • Många indatakällor
  • Typisk storlek >100 GB
• Lagrar strukturerad och ostrukturerad data
  • Exempel: video, ljud och dokument

Datasjö

• Enklare att göra förändringar
  • Färre effekter uppströms och nedströms att beakta
• Syftet med lagringen är inte alltid känt
  • Mindre organiserat

Sammanfattning

Egenskap	Datalager	Datamart	Datasjö
Datastruktur	Strukturerad	Strukturerad	Strukturerad & ostrukturerad
Komplexitet vid förändring	Komplex	Komplex	Mindre komplex
Syfte med data	Känt	Känt	Kan vara okänt
Avdelningar som täcks	Många	Endast en	Många
Datakällor	Många källsystem	Få källor	Många källsystem
Typisk storlek	>100 GB	<100 GB	>100 GB

Nu kör vi en övning!

Koncept för datalager