Datenverarbeitung

Moderne Datenarchitekturen verstehen

Miller Trujillo

Senior Software Engineer

Was ist Datenverarbeitung?

• Exploration
• Datenqualität: Checks und Transformationen
• Analyse
• Aggregationen
• Transformationen

Batch-Verarbeitung

• Batch und Streaming
• Feste Datenmenge

Stream-Verarbeitung

Feste Zeitfenster

Gleitende Zeitfenster

¹ https://beam.apache.org/documentation/programming-guide/#windowing

Konzepte der Stream-Verarbeitung

• Ereigniszeit (wann erzeugt)
• Ankunftszeit (wann angekommen)
• Watermarks
• Verspätete Daten
• Verarbeitung auslösen

Verarbeitungstechnologien

Use Case	Lösung	Cloud-Lösung
Batch/Streaming, Big Data, Cluster	Apache Spark, Flink, Beam	AWS EMR, AWS Glue, Google Dataproc, Google Dataflow
Batch/Streaming, Big Data, Serverless (Server werden vollständig vom Anbieter verwaltet)	Apache Spark, Beam	AWS Glue, Google Dataflow
Einzelereignisse, einfache Verarbeitung, 24/7 ohne laufende Server	Allgemeine Programmiersprachen: Python, JavaScript, C#, Java, Go	AWS Lambda, Google Cloud Functions

Lass uns üben!

Moderne Datenarchitekturen verstehen