Ingegneria dei dati e big data

Capire il Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

Info sul corso

• Corso concettuale
• Nessun codice
• Obiettivi
  • Saper dialogare con i data engineer
  • Base solida per approfondire

Capitolo 1

Cos'è la data engineering?

1. Data engineering e big data
2. Data engineer vs data scientist
3. Data pipeline

Capitolo 2

Come funziona l'archiviazione dei dati

1. Dati strutturati vs non strutturati
2. SQL
3. Data warehouse e data lake

Capitolo 3

Come spostare ed elaborare i dati

1. Elaborazione dei dati
2. Scheduling dei dati
3. Calcolo parallelo
4. Cloud computing

$$

$$

$$

Flusso dei dati

Flusso dei dati

Flusso dei dati

Flusso dei dati

Data engineer

Data engineer

I data engineer consegnano:

• i dati corretti
• nel formato giusto
• alle persone giuste
• nel modo più efficiente possibile

Responsabilità di un data engineer

• Ingerire dati da fonti diverse
• Ottimizzare database per l'analisi
• Rimuovere dati corrotti
• Sviluppare, costruire, testare e mantenere architetture dati

Data engineer e big data

• I big data diventano la norma =>

Data engineer e big data

• I big data diventano la norma => servono sempre più data engineer
• Big data:
  • Occorre gestirne la dimensione
  • Sono così grandi che i metodi tradizionali non bastano più

Crescita dei big data

• Sensori e dispositivi
• Social media
• Dati aziendali
• VoIP (comunicazione vocale, sessioni multimediali)

¹ Data Age 2025, Seagate, novembre 2018

Le cinque V

• Volume (quanto?)
• Varietà (quale tipo?)
• Velocità (con quale frequenza?)
• Veridicità (quanto sono accurati?)
• Valore (quanto sono utili?)

Riepilogo

• Cosa ti aspetta
• Come i dati fluiscono in un'organizzazione
• Quando interviene un data engineer
• Le sue responsabilità
• Legame tra data engineering e big data

Passiamo alla pratica !

Capire il Data Engineering