Pendahuluan pemrosesan batch

Konsep Streaming

Mike Metzger

Data Engineer

Apa itu pemrosesan batch?

• Memproses data dalam kelompok
• Berjalan dari awal proses hingga akhir
  • Tidak ada data yang ditambahkan di tengah
• Umumnya dijalankan karena
  • sebuah interval
  • peristiwa pemicu
• Diproses dalam ukuran tertentu (batch size)
• Satu instance proses batch sering disebut job

Skenario umum pemrosesan batch

• Membaca file atau bagian file (teks, mp3, dll.)
• Mengirim / menerima email
• Mencetak

Mengapa batch?

• Sederhana
• Umumnya konsisten
• Banyak cara meningkatkan kinerja

Ayo berlatih!

Konsep Streaming