Pipeline di dati

Capire la Data Science

Sara Billen

Curriculum Manager

$$ Raccolta e ingestione dati con una sola fonte

Capire la Data Science

$$ Raccolta e ingestione dati con tre fonti

$$

Come facciamo a scalare?

Più di una fonte dati:

  • Registri pubblici
  • API
  • Database

Tipi di dati diversi:

  • Dati non strutturati
  • Dati tabellari
  • Dati in streaming in tempo reale es., tweet
Capire la Data Science

Cos'è una data pipeline?

  • Sposta i dati in fasi definite
  • Raccolta e archiviazione automatizzate
    • Pianificata: ogni ora, giorno, settimana, ecc.
    • Attivata da un evento
  • Monitorata con avvisi
  • Necessaria per progetti big data
  • I data engineer personalizzano le soluzioni
  • Extract Transform Load (ETL)

Pipeline di dati

Capire la Data Science

Caso di studio: smart home

Dato Fonte Frequenza
Condizioni meteo National Weather Service API Ogni 30 minuti
Tweet nella tua zona Twitter API Flusso in tempo reale
Temperatura interna Termostato smart Ogni 5 minuti
Stato luci Lampadine smart Ogni minuto
Stato serrature Serrature smart Ogni 15 secondi
Consumo energetico Contatore smart Settimanale
Capire la Data Science

Estrai

Fase di estrazione

Fonte Frequenza
National Weather API Ogni 30 minuti
Twitter API Flusso in tempo reale
Termostato smart Ogni 5 minuti
Lampadine smart Ogni minuto
Serrature smart Ogni 15 secondi
Contatore smart Settimanale
Capire la Data Science

Trasforma

Fase di caricamento

Capire la Data Science

Trasforma

Con tutti questi dati in arrivo, come li teniamo ordinati e usabili?

$$ Esempi di trasformazione:

  • Unire più fonti in un unico dataset
  • Convertire strutture per adattarle agli schemi del database
  • Rimuovere dati irrilevanti

Preparazione ed esplorazione non avvengono qui

Capire la Data Science

Carica

Fase di trasformazione

Capire la Data Science

Automazione

Automazione

Capire la Data Science

Passons à la pratique !

Capire la Data Science

Preparing Video For Download...