Xử lý theo lô vs. luồng

Các khái niệm về Streaming

Mike Metzger

Data Engineer

Ôn nhanh

  • Xử lý theo lô xử lý dữ liệu theo nhóm (batch)
  • Hai yếu tố chính của xử lý theo lô: kích thước lô và tần suất lô
  • Hàng đợi lưu/xử lý dữ liệu theo thứ tự chèn
  • Hàng đợi là lô với kích thước lô bằng một!
  • Luồng xử lý dữ liệu liên tục không tạm dừng
  • Luồng không có điểm kết thúc xác định
  • Luồng giữ nguyên thứ tự!
Các khái niệm về Streaming

Cháy!

  • Chuyền xô
    • Kích thước lô (xô to cỡ nào)
    • Tần suất lô (truyền nhanh cỡ nào)

Chuyền xô

  • Vòi cứu hỏa
    • Dòng dữ liệu liên tục
    • Không chắc bao nhiêu nước

Vòi cứu hỏa

1 Albert B. Kinne, Phạm vi công cộng, qua Wikimedia Commons 2 Commander, U.S. Naval Forces Europe-Africa/U.S. 6th Fleet, Phạm vi công cộng, qua Wikimedia Commons
Các khái niệm về Streaming

Cách chọn phương án tốt nhất?

  • Phụ thuộc vào yêu cầu
  • Nếu có thể xử lý theo nhóm, theo lô thường tối ưu vì đơn giản
  • Nếu cần thứ tự, nhưng có thể tạm dừng, dùng hàng đợi
  • Nếu cần dữ liệu liên tục, hoặc không biết lượng dữ liệu, dùng luồng
  • Nếu không thể dừng cho đến khi xử lý xong dữ liệu, dùng luồng
Các khái niệm về Streaming

Hãy thực hành!

Các khái niệm về Streaming

Preparing Video For Download...