单系统数据流

Streaming 概念

Mike Metzger

Data Engineer

流式处理简介

什么是流式处理？

  • 数据在处理前一直在"流动"
    • 初始处理后，可能进入其他处理组件
  • 是开放式的（无特定结束事件）
  • 由数据的"流动"定义，而非内容本身
Streaming 概念

日志

  • 用于存储事件信息
  • 可以是简单的文本或二进制文件
  • 也可以是向多个客户端导出信息的系统（如 Apache Kafka）
  • 会存储信息，直到资源耗尽或被清理
  • 日志的用途取决于应用
210507-162356 - SUCCESS: Open vvlj45.txt
210507-162254 - ERROR: Open hjry57.txt failed
210507-161523 - SUCCESS: Open kbhn78.txt
210507-161235 - ERROR: Open ldge12.txt failed
210507-160127 - WARNING: keop98.txt exists
210507-155958 - SUCCESS: Open hqaz64.txt
210507-155439 - SUCCESS: Open neuf36.txt
210507-152335 - SUCCESS: Open mqpa91.txt
210507-144756 - ERROR: Open pqzi32.txt failed
210507-143541 - SUCCESS: Open urmn15.txt
210507-143152 - SUCCESS: Open fgty82.txt
210507-141732 - SUCCESS: Open mlwe96.txt
Streaming 概念

系统事件日志

  • 存在于 Windows、Mac、Linux
  • 处理并存储各类系统事件信息
  • Windows 为 EventLog，Mac/Linux 为 syslog

组件：

  • Listener：接收消息
  • Parser：解析消息
  • Logic：决定如何处理
  • Writer：将消息持久化
Streaming 概念

让我们来练习！

Streaming 概念

Preparing Video For Download...