Batching vs. streaming

แนวคิดด้าน Streaming

Mike Metzger

Data Engineer

ทบทวนเนื้อหา

  • Batch จัดการข้อมูลเป็นกลุ่ม หรือ batch
  • รายละเอียดสำคัญของ batch processing คือขนาดและความถี่ของ batch
  • Queue จัดเก็บ/ประมวลผลข้อมูลตามลำดับที่รับเข้ามา
  • Queue คือ batch ที่มีขนาด batch เท่ากับหนึ่ง!
  • Stream จัดการข้อมูลต่อเนื่องโดยไม่หยุด
  • Stream ไม่มีจุดสิ้นสุดที่กำหนดไว้
  • Stream รักษาลำดับข้อมูล!
แนวคิดด้าน Streaming

ไฟไหม้!

  • สายส่งถัง
    • ขนาด batch (ถังใหญ่แค่ไหน)
    • ความถี่ batch (ส่งถังเร็วแค่ไหน)

สายส่งถัง

  • สายฉีดน้ำ
    • ข้อมูลไหลต่อเนื่อง
    • ไม่แน่ว่าน้ำมากแค่ไหน

สายฉีดน้ำ

1 Albert B. Kinne, Public domain, via Wikimedia Commons 2 Commander, U.S. Naval Forces Europe-Africa/U.S. 6th Fleet, Public domain, via Wikimedia Commons
แนวคิดด้าน Streaming

จะเลือกวิธีที่ดีที่สุดได้อย่างไร?

  • ขึ้นอยู่กับความต้องการ
  • หากประมวลผลเป็นกลุ่มได้ batching มักเหมาะสุดเพราะเรียบง่าย
  • หากต้องการลำดับแต่หยุดรอได้ ใช้ queue
  • หากต้องการข้อมูลต่อเนื่อง หรือไม่รู้ว่ามีข้อมูลเท่าใด ใช้ streaming
  • หากหยุดรอไม่ได้จนกว่าจะประมวลผลเสร็จ ใช้ streaming
แนวคิดด้าน Streaming

มาฝึกกันเถอะ!

แนวคิดด้าน Streaming

Preparing Video For Download...