Dataverwerking

Moderne data-architectuur begrijpen

Miller Trujillo

Senior Software Engineer

Wat is dataverwerking?

• Exploratie
• Datakwaliteit: checks en transformaties
• Analyse
• Aggregaties
• Transformaties

Batchverwerking

• Batch en streaming
• Vaste hoeveelheid data

Streamverwerking

Vasteraamvenster

Schuivend tijdvenster

¹ https://beam.apache.org/documentation/programming-guide/#windowing

Concepten van streamverwerking

• Wanneer data is gegenereerd
• Wanneer data is aangekomen
• Watermarks
• Late data
• Nieuwe verwerking triggeren

Verwerkingstechnologieën

Use case	Oplossing	Cloudoplossing
Batch/streaming, big data, cluster	Apache Spark, Flink, Beam	AWS EMR, AWS Glue, Google Dataproc, Google Dataflow
Batch/streaming, big data, serverless (servers worden volledig beheerd door de provider)	Apache Spark, Beam	AWS Glue, Google Dataflow
Individuele events, eenvoudige verwerking, 24/7 ondersteuning zonder draaiende servers	Algemene programmeertalen: Python, Javascript, C#, Java, Go	AWS Lambda, Google Cloud Functions

Laten we oefenen!

Moderne data-architectuur begrijpen