Exemples d'architecture de données moderne

Comprendre l'architecture de données moderne

Miller Trujillo

Senior Software Engineer

Architecture Lambda

• Architecture de traitement des données
• Traite de grands ensembles de données
• Permet le traitement en temps réel
• Combine traitement par lots et en continu
• 3 couches principales :
  • Couche batch
  • Couche vitesse
  • Couche de service

Couches de l'architecture Lambda : Batch

• Jeu de données maître
  • Données immuables
  • Ajout seulement
• Vues précalculées
• Comptes bancaires
  • Jeu de données maître : liste des transactions
  • Vues : transactions appliquées pour obtenir le solde
• Précision parfaite

Couches de l'architecture Lambda : Vitesse

• Tâches batch selon un horaire donné
• Écart entre les données connues et la réalité
• La couche vitesse comble cet écart
• Précision imparfaite

Couches de l'architecture Lambda : Service

• Fusionne les vues batch et temps réel
• Vue unifiée des données

Complexité de l'architecture Lambda

• Deux couches ⇒ complexité accrue
• Logique, code et algorithmes dupliqués
• Piles multiples : batch et en continu

Architecture Kappa

Lambda vs Kappa

Aspect	Architecture Lambda	Architecture Kappa
Traitement batch	Présent	En retraitant la source d'événements
Traitement en flux	Présent	Présent
Complexité	Plus élevée	Plus faible
Temps réel	Retardé par la couche batch	Direct et simplifié
Cas d'usage	Analyses complexes, données hist.	Analytique en temps réel, suivi instantané

Passons à la pratique !

Comprendre l'architecture de données moderne