Mở rộng theo chiều dọc hệ thống streaming

Các khái niệm về Streaming

Mike Metzger

Data Engineer

Vì sao cần mở rộng?

• Xử lý cùng lượng dữ liệu trong ít thời gian hơn
• Xử lý nhiều dữ liệu hơn trong cùng thời gian
• Cung cấp dữ liệu nhanh hơn (giảm độ trễ)
• Đáp ứng cam kết (SLA)

Mở rộng theo chiều dọc

• Nâng cao khả năng của một hệ thống đơn lẻ
• Thành phần nhanh hơn / tốt hơn
  • CPU, RAM, Disk, Network
• Tất cả đều ảnh hưởng đến hiệu năng streaming

Hiệu năng CPU / GPU nhanh hơn

• Thực thi nhanh hơn
• Thực thi tốt hơn
  • Tập lệnh mới / cải tiến
• Xử lý bằng GPU
  • Machine learning
  • Deep learning
  • Xử lý ảnh
  • Phép toán ma trận

Ảnh hưởng đến streaming như thế nào?

• Quy trình streaming không dừng cho đến khi xong
• Mục khác nhau có thể ở các phần khác nhau của pipeline, nhưng tổng năng lực xử lý bị giới hạn bởi hiệu năng hệ thống
• Một số thành phần tác động lớn hơn tùy khối lượng công việc
• Benchmark / kiểm thử!

Hãy thực hành!

Các khái niệm về Streaming