Esempi di architettura dati moderna

Comprendere la data architecture moderna

Miller Trujillo

Senior Software Engineer

Architettura Lambda

• Architettura per l'elaborazione dati
• Permette di elaborare dataset su larga scala
• Abilita l'elaborazione in tempo reale
• Combina batch e streaming
• 3 layer principali:
  • Batch layer
  • Speed layer
  • Serving layer

Architettura Lambda: Batch layer

• Master dataset
  • Dati immutabili
  • Solo append
• Visite pre-calcolate
• Conti bancari
  • Master dataset: elenco transazioni
  • Viste: transazioni applicate per ottenere il saldo
• Accuratezza perfetta

Architettura Lambda: Speed layer

• Job batch su una schedulazione
• Gap tra dati noti e realtà
• Lo speed layer chiude quel gap
• Accuratezza non perfetta

Architettura Lambda: Serving layer

• Unisce viste batch e real-time
• Vista unificata dei dati

Complessità dell'architettura Lambda

• Due layer aumentano la complessità
• Logica, codice e algoritmi duplicati
• Stack multipli: batch e streaming

Architettura Kappa

Lambda vs Kappa

Aspetto	Architettura Lambda	Architettura Kappa
Batch processing	Presente	Rieseguendo la fonte degli eventi
Stream processing	Presente	Presente
Complessità	Maggiore	Minore
Real-time processing	Ritardata dal layer batch	Diretta e semplificata
Casi d'uso	Analisi complesse, dati storici	Analytics real-time, monitoraggio live

Passons à la pratique !

Comprendere la data architecture moderna