Pipelines de données

Concepts DevOps

Cem Sakarya

DevOps Risk Advisor

Pipelines de données

Les microservices communiquent entre eux via des API. Ils interagissent aussi avec des bases de données indépendantes via des pipelines de données. Les pipelines de données sont mis en évidence.

ETL

Extraire ; Transformer ; Charger

¹ https://www.istockphoto.com/nl/vector/data-extract-transform-load-gm1361894912-434102842?phrase=ETL

Traitement par lots

Pipeline de traitement par lots : prend des données d'un microservice, les traite et les charge dans une base de données indépendante.

Déplacer des données hors ligne par lots
Traitement par lots : un grand volume de données

Plusieurs utilisateurs se connectent au backend en même temps.

Les connexions des utilisateurs sont ingérées dans le backend par l'API d'ingestion.

Les connexions des utilisateurs sont routées vers différents microservices via un pipeline de données en flux.

Récapitulatif

L'ingénierie des données fait partie intégrante de l'ingénierie d'infrastructure
Les pipelines de données sont essentiels pour traiter les données
Par lots : planifié ; en flux : continu
Le traitement par lots gère les données accumulées
Le traitement en flux gère les données en temps réel

Passons à la pratique !

Concepts DevOps