Mở rộng hệ thống streaming theo chiều ngang

Các khái niệm về Streaming

Mike Metzger

Data Engineer

Ôn tập mở rộng ngang

• Thay vì mở rộng "dọc", hãy mở rộng "ngang"
• Thường là bổ sung năng lực xử lý bằng cách thêm nhiều hơn, không phải nhanh/tốt hơn
• Hiệu quả nhất với tình huống song song hoàn hảo
  • Nhiệm vụ dễ chia nhỏ
  • Ví dụ: xử lý một nhóm lớn ảnh không phụ thuộc lẫn nhau

Mở rộng ngang với streaming

• Xử lý dữ liệu streaming thường có độ trễ tối thiểu
• Có thể làm cho việc truyền dữ liệu giữa worker trở nên khó
• Tốt nhất là xử lý toàn bộ luồng trong một pipeline
• Tạo bản sao của các pipeline

Bản sao pipeline

• Khi sự kiện xảy ra, chúng ban đầu sẽ đi vào một pipeline
• Mọi tác vụ liên quan tự chứa trong pipeline cho đến khi hoàn tất
• Mở rộng bằng cách thêm nhiều pipeline
• Vẫn có thể mở rộng dọc bên trong một pipeline

Cân nhắc bổ sung

• Có thể cần thành phần khác
• Bộ cân bằng tải / bộ điều phối
  • Chia bài
  • Nút rảnh nhất
• Cuối cùng sẽ gặp điểm nghẽn
  • Hiệu năng ghi đĩa
• Cân nhắc rút ngắn pipeline streaming
  • Loại bỏ nhu cầu xử lý ngay lập tức

Hãy thực hành!

Các khái niệm về Streaming