Data warehouse e data lake

Capire il Data Engineering

Hadrien Lacroix

Content Developer

Magazzini con vista mozzafiato sul lago

Capire il Data Engineering

pipeline

Capire il Data Engineering

Data lake e data warehouse

Data lake

  • Archivia tutti i dati grezzi
  • Può arrivare a petabyte (1 milione di GB)
  • Contiene tutte le strutture dati
  • Conveniente
  • Difficile da analizzare
  • Richiede un data catalog aggiornato
  • Usato dai data scientist
  • Big data, analytics in tempo reale

Data warehouse

  • Dati specifici per usi specifici
  • Relativamente piccolo
  • Principalmente dati strutturati
  • Più costoso da aggiornare
  • Ottimizzato per l'analisi
  • Usato anche da data analyst e business analyst
  • Query ad hoc, sola lettura
Capire il Data Engineering

Data catalog per i data lake

  • Qual è l'origine di questi dati?
  • Dove vengono usati questi dati?
  • Chi è il proprietario dei dati?
  • Con che frequenza vengono aggiornati?
  • Buona pratica per la data governance
  • Garantisce riproducibilità
  • Senza catalogo --> data swamp
  • Buona pratica per qualsiasi soluzione di archiviazione dati
    • Affidabilità
    • Autonomia
    • Scalabilità
    • Velocità
Capire il Data Engineering

Database vs. data warehouse

  • Database:
    • Termine generico
    • Definito in modo ampio come dati organizzati archiviati e accessibili su un computer
  • Il data warehouse è un tipo di database
Capire il Data Engineering

Riepilogo

  • Data lake
  • Data warehouse
  • Database
  • Data catalog
Capire il Data Engineering

Passiamo alla pratica !

Capire il Data Engineering

Preparing Video For Download...