Traitement des données

Comprendre les architectures de données modernes

Miller Trujillo

Senior Software Engineer

Qu’est-ce que le traitement des données ?

• Exploration
• Qualité des données : contrôles et transformations
• Analyse
• Agrégations
• Transformations

Traitement batch

• Batch et streaming
• Volume de données fixe

Traitement en streaming

Fenêtre temporelle fixe

Fenêtre temporelle glissante

¹ https://beam.apache.org/documentation/programming-guide/#windowing

Concepts du streaming

• Moment de génération des données
• Moment d’arrivée des données
• Watermarks
• Données en retard
• Déclencher un nouveau traitement

Technologies de traitement

Cas d’usage	Solution	Solution cloud
Batch/streaming, big data, cluster	Apache Spark, Flink, Beam	AWS EMR, AWS Glue, Google Dataproc, Google Dataflow
Batch/streaming, big data, serverless (serveurs entièrement gérés par le fournisseur)	Apache Spark, Beam	AWS Glue, Google Dataflow
Événements unitaires, traitement simple, support 24/7 sans serveurs actifs	Langages généraux : Python, Javascript, C#, Java, Go	AWS Lambda, Google Cloud Functions

Passons à la pratique !

Comprendre les architectures de données modernes