Voorbeelden van moderne data-architectuur

Moderne data-architectuur begrijpen

Miller Trujillo

Senior Software Engineer

Lambda-architectuur

• Data-verwerkingsarchitectuur
• Maakt verwerking van grootschalige datasets mogelijk
• Maakt realtime-verwerking mogelijk
• Combineert batch en streaming
• 3 hoofdlagen:
  • Batchlaag
  • Snelheidslaag
  • Serving-laag

Lambda-architectuur: Batch-laag

• Master-dataset
  • Onveranderlijke data
  • Alleen toevoegen
• Vooraf berekende views
• Bankrekeningen
  • Master-dataset: lijst met transacties
  • Views: transacties toegepast voor het saldo
• Perfecte nauwkeurigheid

Lambda-architectuur: Snelheidslaag

• Batchjobs op schema
• Gat tussen bekende data en realiteit
• Snelheidslaag dicht dat gat
• Niet perfect nauwkeurig

Lambda-architectuur: Serving-laag

• Combineer batch- en realtime-views
• Uniforme dataview

Complexiteit van de Lambda-architectuur

• Twee lagen verhogen complexiteit
• Dubbele logica, code, algoritmen
• Meerdere stacks: batch en streaming

Kappa-architectuur

Lambda vs. Kappa

Aspect	Lambda-architectuur	Kappa-architectuur
Batchverwerking	Aanwezig	Door de bron van events opnieuw te verwerken
Streamverwerking	Aanwezig	Aanwezig
Complexiteit	Hoger	Lager
Realtime-verwerking	Vertraagd door batchlaag	Direct en gestroomlijnd
Use-cases	Complexe analyses, historische data	Realtime-analyse, realtime-monitoring

Laten we oefenen!

Moderne data-architectuur begrijpen