資料處理

理解現代資料架構

Miller Trujillo

Senior Software Engineer

什麼是資料處理？

• 探索
• 資料品質：檢查與轉換
• 分析
• 彙總
• 轉換

批次處理

• 批次與串流
• 固定資料量

串流處理

固定時間窗

滑動時間窗

¹ https://beam.apache.org/documentation/programming-guide/#windowing

串流處理觀念

• 資料產生時間
• 資料抵達時間
• 水位標記（Watermarks）
• 延遲資料
• 觸發新一輪處理

處理技術

使用情境	解決方案	雲端解決方案
批次／串流、大量資料、叢集	Apache Spark、Flink、Beam	AWS EMR、AWS Glue、Google Dataproc、Google Dataflow
批次／串流、大量資料、無伺服器（由供應商全代管伺服器）	Apache Spark、Beam	AWS Glue、Google Dataflow
個別事件、簡易處理、24/7 支援且無需常駐伺服器	一般程式語言：Python、Javascript、C#、Java、Go	AWS Lambda、Google Cloud Functions

一起來練習吧！

理解現代資料架構