Pemrosesan Data

Memahami Arsitektur Data Modern

Miller Trujillo

Senior Software Engineer

Apa itu pemrosesan data?

• Eksplorasi
• Kualitas data: cek dan transformasi
• Analisis
• Agregasi
• Transformasi

Pemrosesan batch

• Batch dan streaming
• Jumlah data tetap

Pemrosesan streaming

Jendela waktu tetap

Jendela waktu geser

¹ https://beam.apache.org/documentation/programming-guide/#windowing

Konsep pemrosesan streaming

• Waktu data dibuat
• Waktu data tiba
• Watermark
• Data terlambat
• Picu pemrosesan baru

Teknologi pemrosesan

Kasus penggunaan	Solusi	Solusi cloud
Batch/streaming, big data, klaster	Apache Spark, Flink, Beam	AWS EMR, AWS Glue, Google Dataproc, Google Dataflow
Batch/streaming, big data, serverless (server dikelola penuh oleh penyedia)	Apache Spark, Beam	AWS Glue, Google Dataflow
Event individual, pemrosesan sederhana, dukungan 24/7 tanpa server aktif	Bahasa pemrograman umum: Python, Javascript, C#, Java, Go	AWS Lambda, Google Cloud Functions

Ayo berlatih!

Memahami Arsitektur Data Modern