Pipeline di dati

Concetti di DevOps

Cem Sakarya

DevOps Risk Advisor

Pipeline di dati

I microservizi comunicano tra loro via API. Inoltre interagiscono con database indipendenti tramite pipeline di dati. Le pipeline di dati sono evidenziate.

ETL

Extract; Transform; Load

¹ https://www.istockphoto.com/nl/vector/data-extract-transform-load-gm1361894912-434102842?phrase=ETL

Elaborazione batch

Pipeline di dati per l'elaborazione batch che prende dati da un microservizio, li elabora e li carica in un database indipendente.

Sposta dati offline in lotti
Batch processing: grande quantità di dati

Più utenti si connettono al backend nello stesso momento.

Le connessioni utente vengono acquisite nel backend dalla Ingestion API.

Le connessioni utente sono instradate a diversi microservizi tramite una pipeline di dati in streaming.

Riepilogo

La Data Engineering è parte integrante della Infrastructure Engineering
Le pipeline di dati sono strumenti robusti per gestire i dati
Il batch segue orari regolari, lo streaming opera in continuo
Il batch è utile per i dati accumulati
Lo streaming gestisce i dati in tempo reale

Esercitiamoci!

Concetti di DevOps