Datalager och datasjöar

Introduktion till datatekniker

Hadrien Lacroix

Content Developer

Datalager med utsikt över sjön

Introduktion till datatekniker

pipeline

Introduktion till datatekniker

Datasjöar och datalager

Datasjö

  • Lagrar all rådata
  • Kan vara petabytes (1 miljon GB)
  • Lagrar alla datastrukturer
  • Kostnadseffektiv
  • Svår att analysera
  • Kräver en aktuell datakatalog
  • Används av datavetare
  • Big data, realtidsanalys

Datalager

  • Specifik data för specifika ändamål
  • Relativt litet
  • Lagrar huvudsakligen strukturerad data
  • Dyrare att uppdatera
  • Optimerat för dataanalys
  • Används även av dataanalytiker och affärsanalytiker
  • Ad hoc-frågor, skrivskyddade
Introduktion till datatekniker

Datakatalog för datasjöar

  • Var kommer denna data ifrån?
  • Var används denna data?
  • Vem äger datan?
  • Hur ofta uppdateras datan?
  • God praxis för datastyrning
  • Säkerställer reproducerbarhet
  • Ingen katalog --> datasumpmark
  • God praxis för alla datalagringslösningar
    • Tillförlitlighet
    • Autonomi
    • Skalbarhet
    • Hastighet
Introduktion till datatekniker

Databas vs. datalager

  • Databas:
    • Allmänt begrepp
    • Löst definierat som organiserad data som lagras och nås på en dator
  • Ett datalager är en typ av databas
Introduktion till datatekniker

Sammanfattning

  • Datasjöar
  • Datalager
  • Databaser
  • Datakatalog
Introduktion till datatekniker

Nu kör vi en övning!

Introduktion till datatekniker

Preparing Video For Download...