การ Scale ระบบ Streaming ในแนวตั้ง

แนวคิดด้าน Streaming

Mike Metzger

Data Engineer

ทำไมต้อง Scale?

• ประมวลผลข้อมูลเดิมให้เร็วขึ้น
• ประมวลผลข้อมูลมากขึ้นในเวลาเท่าเดิม
• ส่งข้อมูลได้เร็วขึ้น (ลด Latency)
• ปฏิบัติตามข้อกำหนด (SLA)

Vertical Scaling

• เพิ่มขีดความสามารถของระบบเดียว
• ส่วนประกอบที่เร็วขึ้น / ดีขึ้น
  • CPU, RAM, Disk, Network
• ทั้งหมดส่งผลต่อประสิทธิภาพ Streaming

ประสิทธิภาพ CPU / GPU ที่เร็วขึ้น

• การประมวลผลที่เร็วขึ้น
• การประมวลผลที่ดีขึ้น
  • ชุดคำสั่งใหม่ / ปรับปรุงแล้ว
• การประมวลผลด้วย GPU
  • Machine Learning
  • Deep Learning
  • การประมวลผลภาพ
  • การคำนวณเมทริกซ์

ส่งผลต่อ Streaming อย่างไร?

• กระบวนการ Streaming ทำงานต่อเนื่องจนเสร็จสิ้น
• รายการต่าง ๆ อาจอยู่ในขั้นตอนที่ต่างกันของ Pipeline แต่ความสามารถในการประมวลผลรวมถูกจำกัดโดยประสิทธิภาพของระบบ
• ส่วนประกอบบางส่วนมีผลมากกว่าส่วนอื่น ขึ้นอยู่กับ Workload
• Benchmark / ทดสอบ!

มาฝึกกันเถอะ!

แนวคิดด้าน Streaming