Canaux de données

Concepts de DevOps

Cem Sakarya

DevOps Risk Advisor

Canaux de données

Les microservices communiquent entre eux par des API. Ils interagissent aussi avec des bases de données distinctes via des canaux de données. Les canaux de données sont en surbrillance.

ETL

Extraire; Transformer; Charger

¹ https://www.istockphoto.com/nl/vector/data-extract-transform-load-gm1361894912-434102842?phrase=ETL

Traitement par lots

Un pipeline de données par traitement par lots prend des données d'un microservice, les transforme, puis les charge dans une base de données indépendante.

Déplacer des données hors ligne par lots
Traitement par lots : un grand volume de données

Plusieurs utilisateurs se connectent au serveur dorsal en même temps.

Les connexions des utilisateurs sont ingérées dans le serveur dorsal par l'API d'ingestion.

Les connexions des utilisateurs sont acheminées vers différents microservices via un pipeline de diffusion de données.

Récapitulatif

L'ingénierie des données fait partie intégrante de l'ingénierie d'infrastructure
Les canaux de données sont essentiels pour traiter les données
Le traitement par lots suit un horaire régulier; le traitement en flux est continu
Le traitement par lots gère les données accumulées
Le traitement en flux gère les données en temps réel

Passons à la pratique !

Concepts de DevOps