Voorbeelden van de moderne data-architectuur

Inzicht in moderne data-architectuur

Miller Trujillo

Senior Software Engineer

Lambda-architectuur

• Data-verwerkingsarchitectuur
• Maakt verwerking van grootschalige gegevenssets mogelijk
• Maakt realtime dataverwerking mogelijk
• Combineert batch en streaming
• 3 hoofdlagen:
  • Batchlaag
  • Snelheidslaag
  • Servicelaag

Lagen van de Lambda-architectuur: Batch

• Mastergegevensset
  • Onveranderlijke data
  • Alleen toevoegen
• Vooraf berekende views
• Bankrekeningen
  • Mastergegevensset: lijst met transacties
  • Views: transacties toegepast om het saldo te krijgen
• Perfecte nauwkeurigheid

Lagen van de Lambda-architectuur: Snelheid

• Batchjobs op vaste tijden
• Kloof tussen bekende data en realiteit
• Snelheidslaag verkleint die kloof
• Niet perfect nauwkeurig

Lagen van de Lambda-architectuur: Service

• Voeg batch- en realtimeviews samen
• Eén uniforme kijk op data

Complexiteit van de Lambda-architectuur

• Twee lagen verhogen de complexiteit
• Gedupliceerde logica, code, algoritmen
• Meerdere stacks: batch en streaming

Kappa-architectuur

Lambda vs. Kappa

Aspect	Lambda-architectuur	Kappa-architectuur
Batchverwerking	Aanwezig	Door de bron van events opnieuw te verwerken
Streamverwerking	Aanwezig	Aanwezig
Complexiteit	Hoger	Lager
Realtimeverwerking	Vertraagd door batchlaag	Direct en gestroomlijnd
Use-cases	Complexe analyses, historische data	Realtime-analyse, realtime monitoring

Laten we oefenen!

Inzicht in moderne data-architectuur