Beispiele für moderne Datenarchitekturen

Moderne Datenarchitekturen verstehen

Miller Trujillo

Senior Software Engineer

Lambda-Architektur

• Datenverarbeitungsarchitektur
• Ermöglicht Verarbeitung großer Datensätze
• Ermöglicht Echtzeitverarbeitung
• Kombiniert Batch und Streaming
• 3 Hauptschichten:
  • Batch-Schicht
  • Speed-Schicht
  • Serving-Schicht

Lambda-Architektur: Batch-Schicht

• Master-Dataset
  • Unveränderliche Daten
  • Nur Anhängen
• Vorgefertigte Views
• Bankkonten
  • Master-Dataset: Liste der Transaktionen
  • Views: Transaktionen angewendet, um den Saldo zu berechnen
• Perfekte Genauigkeit

Lambda-Architektur: Speed-Schicht

• Batch-Jobs nach Zeitplan
• Lücke zwischen bekannten Daten und Realität
• Speed-Schicht schließt die Lücke
• Nicht perfekt genau

Lambda-Architektur: Serving-Schicht

• Batch- und Echtzeit-Views zusammenführen
• Einheitliche Sicht auf Daten

Komplexität der Lambda-Architektur

• Zwei Schichten erhöhen die Komplexität
• Doppelte Logik, Code, Algorithmen
• Mehrere Stacks: Batch und Streaming

Kappa-Architektur

Lambda vs. Kappa

Aspekt	Lambda-Architektur	Kappa-Architektur
Batch-Verarbeitung	Vorhanden	Durch erneutes Verarbeiten der Event-Quelle
Stream-Verarbeitung	Vorhanden	Vorhanden
Komplexität	Höher	Niedriger
Echtzeit	Durch Batch-Schicht verzögert	Direkt und schlank
Use Cases	Komplexe Analysen, historische Daten	Echtzeit-Analytics, Echtzeit-Monitoring

Lass uns üben!

Moderne Datenarchitekturen verstehen