Exemples d’architecture data moderne

Comprendre les architectures de données modernes

Miller Trujillo

Senior Software Engineer

Architecture Lambda

• Architecture de traitement des données
• Permet de traiter de grands volumes
• Permet le temps réel
• Combine batch et streaming
• 3 couches principales :
  • Couche Batch
  • Couche Vitesse
  • Couche Service

Architecture Lambda : couche Batch

• Jeu de données maître
  • Données immuables
  • Ajout uniquement
• Vues pré-calculées
• Comptes bancaires
  • Jeu maître : liste des transactions
  • Vues : transactions appliquées pour obtenir le solde
• Précision parfaite

Architecture Lambda : couche Vitesse

• Jobs batch à une fréquence donnée
• Écart entre données connues et réalité
• La couche Vitesse comble cet écart
• Précision imparfaite

Architecture Lambda : couche Service

• Fusionner les vues batch et temps réel
• Vue unifiée des données

Complexité de l’architecture Lambda

• Deux couches = complexité accrue
• Logique, code et algorithmes dupliqués
• Piles multiples : batch et streaming

Architecture Kappa

Lambda vs Kappa

Aspect	Architecture Lambda	Architecture Kappa
Traitement batch	Présent	En retraitant la source d’événements
Traitement en flux	Présent	Présent
Complexité	Plus élevée	Plus faible
Temps réel	Retardé par la couche batch	Direct et simplifié
Cas d’usage	Analyses complexes, historique	Analytics temps réel, monitoring temps réel

Passons à la pratique !

Comprendre les architectures de données modernes