La pipeline di dati

Capire il Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

Se i dati sono il nuovo petrolio...

¹ The Economist, 2017-05-06, di David Parkins

Tornando alla data engineering

• Ingerire
• Processare
• Archiviare
• Servono pipeline
• Automatizzare il flusso da una stazione all'altra
• Fornire dati aggiornati, accurati, rilevanti

$$

Le pipeline garantiscono un flusso dati efficiente

Automatizzare

• Estrazione
• Trasformazione
• Integrazione
• Validazione
• Caricamento

Ridurre

• Intervento umano
• Errori
• Tempo di attraversamento dei dati

ETL e pipeline di dati

ETL

• Framework comune per progettare pipeline dati
• 1) Extract i dati
• 2) Transform i dati estratti
• 3) Load i dati trasformati in un altro database

Pipeline di dati

• Spostano dati da un sistema a un altro
• Possono seguire ETL
• I dati possono non essere trasformati
• I dati possono essere caricati direttamente nelle app

Riepilogo

• Cos'è una pipeline di dati
• Cosa fa
• Perché è importante
• Come sono implementate da Spotflix
• Cos'è l'ETL e le sue sfumature

Passons à la pratique !

Capire il Data Engineering