คิวข้อมูล

แนวคิดด้าน Streaming

Mike Metzger

Data Engineer

คิวคืออะไร?

• โดยพื้นฐานคือ แถว
• มีประโยชน์สำหรับการประมวลผลตามลำดับ
• เข้าก่อนออกก่อน (FIFO)
• บางครั้งเรียกว่า buffer
• รายละเอียดแตกต่างกันตามการนำไปใช้งาน

¹ Photo by Joshua Tsu on Unsplash

ทำไมต้องใช้คิว?

• คิวช่วยติดตามลำดับการประมวลผล
• ประมวลผลโดยบุคคล/โปรแกรมเดียวหรือหลายตัวได้
• สามารถแยกออกจากส่วนอื่นของ pipeline การประมวลผลได้
• ขยายขนาดได้ง่ายทั้งแนวตั้งและแนวนอน
  • การขยายแนวตั้งโดยเพิ่มฮาร์ดแวร์ที่เร็วขึ้น
  • การขยายแนวนอนโดยเพิ่ม executor

ปัญหาของคิว

• ข้อมูลผิดพลาดหรือเกิดข้อผิดพลาดในการประมวลผล
  • ลูกค้าชำระด้วยบัตรเครดิตที่ไม่ถูกต้อง
• ความแตกต่างของขนาดข้อมูล
  • ช่องด่วนในซูเปอร์มาร์เก็ตแต่มีสินค้า 100 ชิ้น
• บางครั้งยากที่จะทราบความยาวของคิว
  • รอบฉายพิเศษรอบแรกของภาพยนตร์
• ข้อจำกัดในการขยายขนาด
  • พื้นที่ไม่เพียงพอสำหรับเพิ่มเคาน์เตอร์

มาฝึกกันเถอะ!

แนวคิดด้าน Streaming