Trở ngại khi streaming

Các khái niệm về Streaming

Mike Metzger

Data Engineer

Ôn tập mở rộng quy mô

Mở rộng dọc - tài nguyên tính toán

• CPU
• RAM
• Ổ đĩa (dung lượng và IO)
• Mạng

Mở rộng ngang - thêm nút

• Thêm máy làm node / worker

Mối quan ngại ban đầu

• Tài nguyên tính toán
  • Thiếu hoặc chậm
• Thêm nút
  • Cần kết nối nhiều hơn
  • Một số tài nguyên dùng chung
  • Phức tạp tăng
  • Thường cần quản lý cụm

Sự cố truyền thông

Các loại sự cố nhắn tin:

• Thông điệp thiếu
• Thông điệp trễ
• Thông điệp sai thứ tự
• Thông điệp lặp

Thiếu thông điệp

• Là các sự kiện không bao giờ xuất hiện
• Khó phát hiện
• Đôi khi xử lý bằng mã định danh thứ tự
• Yêu cầu lại thông điệp thiếu có thể làm trễ phản hồi

Thông điệp bị trễ

• Tương tự như thiếu thông điệp
• Có thể gây lỗi cho pipeline xử lý do trễ
• Thường do tài nguyên hệ thống

Thông điệp sai thứ tự

• Kết hợp của thông điệp thiếu / trễ
• Xảy ra khi thông điệp cũ đến sau thông điệp mới
• Cần có thứ tự hoặc trạng thái để phát hiện
• Cách xử lý phụ thuộc loại quá trình dữ liệu đang chạy

Thông điệp lặp

• Xảy ra khi cùng một thông điệp được gửi nhiều lần hoặc gửi lại do lỗi hệ thống
• Cần xử lý thứ tự để tránh hoàn toàn, nhưng đôi khi có thể bỏ qua
• Đôi khi không gây vấn đề (ví dụ đo nhiệt độ)

Ayo berlatih!

Các khái niệm về Streaming