Databehandling

Förstå modern dataarkitektur

Miller Trujillo

Senior Software Engineer

Vad är databehandling?

• Utforskning
• Datakvalitet: kontroller och transformationer
• Analys
• Aggregeringar
• Transformationer

Batchbehandling

• Batch och strömning
• Fast datamängd

Strömningsbehandling

Fast tidsfönster

Glidande tidsfönster

¹ https://beam.apache.org/documentation/programming-guide/#windowing

Begrepp inom strömningsbehandling

• När data genererades
• När data anlände
• Vattenmärken
• Sen data
• Utlöser ny bearbetning

Bearbetningstekniker

Användningsfall	Lösning	Molnlösning
Batch/strömning, big data, kluster	Apache Spark, Flink, Beam	AWS EMR, AWS Glue, Google Dataproc, Google Dataflow
Batch/strömning, big data, serverlös (servrarna hanteras helt av leverantören)	Apache Spark, Beam	AWS Glue, Google Dataflow
Enskilda händelser, enkel bearbetning, dygnet-runt-drift utan egna servrar	Allmänna programmeringsspråk: Python, Javascript, C#, Java, Go	AWS Lambda, Google Cloud Functions

Nu kör vi en övning!

Förstå modern dataarkitektur