Truyền dữ liệu trong một hệ thống
Các khái niệm về Streaming
Mike Metzger
Data Engineer
Giới thiệu về streaming
Streaming là gì?
- Dữ liệu không dừng cho đến khi được xử lý
- Sau xử lý ban đầu, có thể qua các bước xử lý khác
- Mở (không có điểm kết thúc cụ thể)
- Được xác định bởi luồng dữ liệu, không phải nội dung
Log
- Lưu thông tin sự kiện
- Có thể là tệp văn bản hoặc nhị phân đơn giản
- Hoặc hệ thống xuất thông tin cho nhiều client (ví dụ: Apache Kafka)
- Lưu thông tin đến khi hết tài nguyên / bị dọn
- Mục đích của log phụ thuộc vào ứng dụng
210507-162356 - SUCCESS: Open vvlj45.txt
210507-162254 - ERROR: Open hjry57.txt failed
210507-161523 - SUCCESS: Open kbhn78.txt
210507-161235 - ERROR: Open ldge12.txt failed
210507-160127 - WARNING: keop98.txt exists
210507-155958 - SUCCESS: Open hqaz64.txt
210507-155439 - SUCCESS: Open neuf36.txt
210507-152335 - SUCCESS: Open mqpa91.txt
210507-144756 - ERROR: Open pqzi32.txt failed
210507-143541 - SUCCESS: Open urmn15.txt
210507-143152 - SUCCESS: Open fgty82.txt
210507-141732 - SUCCESS: Open mlwe96.txt
Log sự kiện hệ thống
- Có trên Windows, Mac, Linux
- Xử lý và lưu nhiều sự kiện hệ thống
- Windows EventLog, Mac / Linux syslog
Thành phần:
- Listener: Nhận thông điệp
- Parser: Biết cách đọc thông điệp
- Logic: Quyết định hành động
- Writer: Lưu thông điệp để dùng sau
Hãy thực hành!
Các khái niệm về Streaming
