Elaborazione dei dati

Capire il Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

pipeline dei dati

spostare i dati nel data lake

spostare i dati nel data lake

controllo di dati corrotti

Definizione generale

Elaborazione dati: trasformare dati grezzi in informazioni utili

Valore dell’elaborazione dati

In sintesi

Rimuovere i dati indesiderati
Ottimizzare costi di memoria, calcolo e rete
Convertire i dati da un tipo a un altro

In Spotflix

Nessun bisogno a lungo termine dei dati di test delle feature
Non possiamo permetterci di archiviare e trasmettere file così grandi

pipeline dei dati

pipeline dei dati

pipeline dei dati

Valore dell’elaborazione dati

In sintesi

Rimuovere i dati indesiderati
Per risparmiare memoria
Convertire i dati da un tipo a un altro
Organizzare i dati
Per adattarli a uno schema/struttura
Aumentare la produttività

In Spotflix

Nessun bisogno di formato lossless
Non possiamo conservare file così grandi
Convertire i brani da .flac a .ogg
Riorganizzare i dati dal data lake ai data warehouse
Esempio tabella dipendenti
Abilitare i data scientist

Come i data engineer elaborano i dati

Operazioni di manipolazione, pulizia e tidying
- che si possono automatizzare
- che serviranno sempre
Archiviare i dati in un database ben strutturato
Creare viste sopra le tabelle del database
Ottimizzare le prestazioni del database

Scartare file di brani corrotti
Decidere cosa fare con metadati mancanti
Tabelle separate per artisti e album...
...ma fornire una vista che le unisca
Indicizzazione

¹ La differenza tra batch e stream verrà spiegata nella prossima lezione!

Logo Apache Spark

Riepilogo

Cos’è l’elaborazione dei dati
Perché è necessaria
In cosa consiste
Come elaboriamo i dati in Spotflix

Ayo berlatih!

Capire il Data Engineering

Preparing Video For Download...