Traitement des données

Comprendre l'architecture de données moderne

Miller Trujillo

Senior Software Engineer

Qu'est-ce que le traitement des données ?

• Exploration
• Qualité des données : vérifications et transformations
• Analyse
• Agrégations
• Transformations

Traitement par lots

• Par lots et en continu
• Volume de données fixe

Traitement en continu

Fenêtre temporelle fixe

Fenêtre temporelle glissante

¹ https://beam.apache.org/documentation/programming-guide/#windowing

Concepts du traitement en continu

• Moment de génération des données
• Moment d'arrivée des données
• Watermarks
• Données tardives
• Déclencher un nouveau traitement

Technologies de traitement

Cas d'usage	Solution	Solution infonuagique
Par lots/en continu, mégadonnées, grappe	Apache Spark, Flink, Beam	AWS EMR, AWS Glue, Google Dataproc, Google Dataflow
Par lots/en continu, mégadonnées, sans serveur (les serveurs sont gérés par le fournisseur)	Apache Spark, Beam	AWS Glue, Google Dataflow
Événements individuels, traitement simple, soutien 24/7 sans serveurs actifs	Langages généraux : Python, Javascript, C#, Java, Go	AWS Lambda, Google Cloud Functions

Passons à la pratique !

Comprendre l'architecture de données moderne