Gegevensverwerking

Inzicht in moderne data-architectuur

Miller Trujillo

Senior Software Engineer

Wat is gegevensverwerking?

• Verkennen
• Datakwaliteit: controles en transformaties
• Analyse
• Aggregaties
• Transformaties

Batchverwerking

• Batch en streaming
• Vaste hoeveelheid data

Streamverwerking

Vast tijdvenster

Sliding tijdvenster

¹ https://beam.apache.org/documentation/programming-guide/#windowing

Concepten bij streamverwerking

• Wanneer data is gegenereerd
• Wanneer data is aangekomen
• Watermarks
• Late data
• Nieuwe verwerking triggeren

Verwerkingstechnologieën

Use case	Oplossing	Cloudoplossing
Batch/streaming, big data, cluster	Apache Spark, Flink, Beam	AWS EMR, AWS Glue, Google Dataproc, Google Dataflow
Batch/streaming, big data, serverless (servers worden volledig beheerd door de provider)	Apache Spark, Beam	AWS Glue, Google Dataflow
Individuele events, eenvoudige verwerking, 24/7 ondersteuning zonder draaiende servers	Algemene programmeertalen: Python, Javascript, C#, Java, Go	AWS Lambda, Google Cloud Functions

Laten we oefenen!

Inzicht in moderne data-architectuur