Batch vs. streaming

Konsep Streaming

Mike Metzger

Data Engineer

Ulasan cepat

  • Proses batch menangani data dalam kelompok (batch)
  • Hal terpenting pada batch: ukuran batch dan frekuensi batch
  • Antrian menyimpan/memproses data sesuai urutan masuk
  • Antrian adalah batch dengan ukuran satu!
  • Stream menangani data tanpa jeda di tengah
  • Stream tidak punya akhir yang pasti
  • Stream menjaga urutan!
Konsep Streaming

Kebakaran!

  • Regu ember
    • Ukuran batch (seberapa besar embernya)
    • Frekuensi batch (seberapa cepat oper ember)

Regu ember

  • Selang pemadam
    • Jumlah data kontinu
    • Tidak pasti seberapa banyak air

Selang pemadam

1 Albert B. Kinne, Domain publik, via Wikimedia Commons 2 Commander, U.S. Naval Forces Europe-Africa/U.S. 6th Fleet, Domain publik, via Wikimedia Commons
Konsep Streaming

Bagaimana memilih pendekatan terbaik?

  • Tergantung kebutuhan
  • Jika bisa diproses per kelompok, batch sering terbaik karena sederhana
  • Jika butuh urutan, tapi boleh jeda, gunakan antrian
  • Jika butuh data kontinu, atau jumlahnya tidak pasti, gunakan streaming
  • Jika tidak boleh berhenti sampai selesai diproses, gunakan streaming
Konsep Streaming

Ayo berlatih!

Konsep Streaming

Preparing Video For Download...