Pipeline di dati

Comprendere la Data Science

Sara Billen

Curriculum Manager

$$ Data collection and ingestion with one source

$$ Data collection and ingestion with three source

Più di una fonte dati:

Diversi tipi di dati:

Che cos'è una pipeline di dati?

Sposta i dati in fasi definite
Raccolta e archiviazione automatizzate
- Pianificato ogni ora, ogni giorno, ogni settimana, ecc.
- Attivato da un evento
Monitorato con avvisi generati
Necessario per progetti di big data
I data engineer lavorano per personalizzare le soluzioni
Extract Transform Load (ETL) {{8}} (Estrazione, Trasformazione, Caricamento)

Data pipeline

Dati	Fonte	Frequenza
Condizioni meteorologiche	API del Servizio Meteorologico Nazionale	Ogni 30 minuti
Tweet nella tua zona	API di Twitter	Flusso in tempo reale
Temperatura interna	Termostato domestico intelligente	Ogni 5 minuti
Stato delle luci	Lampadine intelligenti	Ogni minuto
Stato delle chiuse	Serrature intelligenti per porte	Ogni 15 secondi
Consumo energetico	Contatore intelligente	Settimanale

Extract phase

Fonte	Frequenza
API del Meteo Nazionale	Ogni 30 minuti
API di Twitter	Flusso in tempo reale
Termostato domestico intelligente	Ogni 5 minuti
Lampadine intelligenti	Ogni minuto
Serrature intelligenti per porte	Ogni 15 secondi
Contatore intelligente	Settimanale

Load phase

$$ Esempi di trasformazione:

La reparazione e l'esplorazione dei dati non avvengono in questa fase

Load phase

Automating

Comprendere la Data Science