単一システムのデータストリーミング
ストリーミングの基礎概念
Mike Metzger
Data Engineer
ストリーミング入門
ストリーミングとは？
- データは処理されるまで「止まらない」
- 初期処理後に他の処理コンポーネントを通る場合あり
- 終わりが定義されない（特定の終了イベントなし）
- 内容ではなく、データの「流れ」で定義される
ログ
- 事象情報を「記録」
- 単純な「テキスト」または「バイナリ」ファイルでも可
- 複数クライアントへ配信する仕組み（例：Apache Kafka）も可
- 資源が尽きる／剪定されるまで「保持」
- 目的は「アプリケーション」に依存
210507-162356 - SUCCESS: Open vvlj45.txt
210507-162254 - ERROR: Open hjry57.txt failed
210507-161523 - SUCCESS: Open kbhn78.txt
210507-161235 - ERROR: Open ldge12.txt failed
210507-160127 - WARNING: keop98.txt exists
210507-155958 - SUCCESS: Open hqaz64.txt
210507-155439 - SUCCESS: Open neuf36.txt
210507-152335 - SUCCESS: Open mqpa91.txt
210507-144756 - ERROR: Open pqzi32.txt failed
210507-143541 - SUCCESS: Open urmn15.txt
210507-143152 - SUCCESS: Open fgty82.txt
210507-141732 - SUCCESS: Open mlwe96.txt
システムイベントログ
- Windows・Mac・Linux に標準搭載
- 各種「システムイベント情報」を処理・保存
- Windows は「EventLog」、Mac/Linux は「syslog」
構成要素：
- 「リスナー」: メッセージを受け付ける
- 「パーサー」: メッセージの読み方を理解
- 「ロジック」: 実行内容を決定
- 「ライター」: 後で参照できるよう保存
Let's practice!
ストリーミングの基礎概念
