Hàng đợi

Các khái niệm về Streaming

Mike Metzger

Data Engineer

Hàng đợi là gì?

• Về cơ bản là một hàng
• Hữu ích để xử lý theo thứ tự
• Vào trước, ra trước (FIFO)
• Đôi khi gọi là bộ đệm
• Chi tiết phụ thuộc nhiều vào triển khai

¹ Ảnh: Joshua Tsu trên Unsplash

Vì sao dùng hàng đợi?

• Hàng đợi cho phép theo dõi thứ tự xử lý
• Có thể do một hay nhiều người/chương trình xử lý
• Có thể tách rời khỏi phần còn lại của pipeline xử lý
• Dễ mở rộng theo chiều dọc hoặc ngang
  • Dọc: thêm phần cứng nhanh hơn
  • Ngang: thêm nhiều executor

Vấn đề của hàng đợi

• Dữ liệu xấu hoặc lỗi xử lý
  • Khách thanh toán bằng thẻ tín dụng không hợp lệ
• Biến thiên kích thước dữ liệu
  • Làn nhanh siêu thị nhưng có 100 món
• Đôi khi khó biết độ dài hàng đợi
  • Suất chiếu thử đầu tiên của phim
• Giới hạn mở rộng
  • Không đủ chỗ cho thêm quầy thu ngân

Ayo berlatih!

Các khái niệm về Streaming