อุปสรรคในการสตรีมข้อมูล

แนวคิดด้าน Streaming

Mike Metzger

Data Engineer

ทบทวนการปรับขนาด

การปรับขนาดในแนวตั้ง - ทรัพยากรการประมวลผล

• CPU
• RAM
• ดิสก์ (ความจุและ IO)
• เครือข่าย

การปรับขนาดในแนวนอน - เพิ่มโหนด

• เพิ่มเครื่องเป็นโหนด / worker

ข้อกังวลเบื้องต้น

• ทรัพยากรการประมวลผล
  • ขาดทรัพยากรหรือทรัพยากรช้า
• เพิ่มโหนด
  • ต้องการการเชื่อมต่อเพิ่มขึ้น
  • ต้องมีทรัพยากรที่แชร์ร่วมกันในรูปแบบใดรูปแบบหนึ่ง
  • เพิ่มความซับซ้อน
  • มักต้องใช้การจัดการคลัสเตอร์

ปัญหาด้านการสื่อสาร

ประเภทของปัญหาการรับส่งข้อความ:

• ข้อความหาย
• ข้อความล่าช้า
• ข้อความผิดลำดับ
• ข้อความซ้ำ

ข้อความที่หายไป

• แทนเหตุการณ์ที่ไม่ปรากฏขึ้นเลย
• ตรวจพบได้ยาก
• บางครั้งแก้ด้วยตัวระบุลำดับ
• การร้องขอข้อความที่หายอาจทำให้การตอบสนองต่อมาล่าช้า

ข้อความที่ล่าช้า

• คล้ายกับข้อความที่หายไป
• อาจส่งผลกระทบต่อ pipeline การประมวลผลเนื่องจากความล่าช้า
• มักเกี่ยวข้องกับปัญหาทรัพยากรของระบบ

ข้อความที่ผิดลำดับ

• เป็นผลรวมของปัญหาข้อความหาย / ล่าช้า
• เกิดขึ้นเมื่อข้อความเก่ามาถึงหลังข้อความใหม่
• ต้องใช้ลำดับหรือสถานะในการตรวจจับ
• การจัดการขึ้นอยู่กับประเภทของกระบวนการข้อมูลที่ใช้งาน

ข้อความที่ซ้ำกัน

• เกิดขึ้นเมื่อส่งข้อความเดิมหลายครั้งหรือส่งซ้ำเนื่องจากปัญหาระบบ
• ต้องมีการจัดการลำดับเพื่อป้องกันโดยสมบูรณ์ แต่บางกรณีอาจละเว้นได้
• บางครั้งไม่ถือเป็นปัญหา (เช่น การวัดอุณหภูมิ)

มาฝึกกันเถอะ!

แนวคิดด้าน Streaming