Exempel på modern dataarkitektur

Förstå modern dataarkitektur

Miller Trujillo

Senior Software Engineer

Lambda-arkitektur

• Databehandlingsarkitektur
• Möjliggör bearbetning av storskaliga datamängder
• Möjliggör realtidsdatabearbetning
• Kombinerar batch och strömning
• 3 huvudlager:
  • Batchlager
  • Hastighetslager
  • Servinglager

Lambda-arkitekturens lager: Batch

• Masterdataset
  • Oföränderlig data
  • Enbart tillägg
• Förberäknade vyer
• Bankkonton
  • Masterdataset: Lista över transaktioner
  • Vyer: Transaktioner tillämpas för att beräkna saldot
• Fullständig precision

Lambda-arkitekturens lager: Hastighet

• Batchjobb enligt ett givet schema
• Glapp mellan känd data och verkligheten
• Hastighetslagret täpper igen det glappet
• Inte fullständig precision

Lambda-arkitekturens lager: Serving

• Slår samman batch- och realtidsvyer
• Enhetlig vy av data

Lambda-arkitekturens komplexitet

• Två lager ökar komplexiteten
• Duplicerad logik, kod och algoritmer
• Flera stackar: batch och strömning

Kappa-arkitektur

Lambda vs. Kappa

Aspekt	Lambda-arkitektur	Kappa-arkitektur
Batchbearbetning	Finns	Genom att bearbeta händelsekällan igen
Strömbearbetning	Finns	Finns
Komplexitet	Högre	Lägre
Realtidsbearbetning	Fördröjs av batchlagret	Direkt och strömlinjeformad
Användningsområden	Komplex analys, historisk data	Realtidsanalys, realtidsövervakning

Nu kör vi en övning!

Förstå modern dataarkitektur