單一系統資料串流
串流概念
Mike Metzger
Data Engineer
串流入門
什麼是串流？
- 資料在處理前「不會停止」
- 初步處理後，還可能進入其他資料處理元件
- 是「開放式」流程（沒有特定結束事件）
- 由資料「流動方式」定義，而非「內容」
記錄檔
- 「儲存」事件資訊
- 可能是簡單的「文字」或「二進位」檔
- 或匯出資訊到多個用戶端的系統（如 Apache Kafka）
- 會儲存資訊「直到資源耗盡／被清除」
- 記錄檔的目的「取決於」應用程式
210507-162356 - SUCCESS: Open vvlj45.txt
210507-162254 - ERROR: Open hjry57.txt failed
210507-161523 - SUCCESS: Open kbhn78.txt
210507-161235 - ERROR: Open ldge12.txt failed
210507-160127 - WARNING: keop98.txt exists
210507-155958 - SUCCESS: Open hqaz64.txt
210507-155439 - SUCCESS: Open neuf36.txt
210507-152335 - SUCCESS: Open mqpa91.txt
210507-144756 - ERROR: Open pqzi32.txt failed
210507-143541 - SUCCESS: Open urmn15.txt
210507-143152 - SUCCESS: Open fgty82.txt
210507-141732 - SUCCESS: Open mlwe96.txt
系統事件記錄
- 存在於 Windows、Mac、Linux
- 處理並儲存各種「系統事件資訊」
- Windows「EventLog」、Mac／Linux「syslog」
元件：
-「接收器」：接收訊息
一起來練習吧！
串流概念
