資料管線

DevOps 概念

Cem Sakarya

DevOps Risk Advisor

資料管線

微服務透過 API 彼此通訊，並透過資料管線連接各自獨立的資料庫。圖中強調資料管線。

DevOps 概念

ETL

擷取；轉換；載入

1 https://www.istockphoto.com/nl/vector/data-extract-transform-load-gm1361894912-434102842?phrase=ETL
DevOps 概念

批次處理

批次處理資料管線從微服務擷取資料，進行處理後載入至獨立資料庫。

  • 以離線批次搬移資料
  • 批次處理：一次處理大量資料
DevOps 概念

多位使用者同時連線至後端。

DevOps 概念

透過 ingestion API 將使用者連線導入後端。

DevOps 概念

使用串流資料管線，將使用者連線分派到不同微服務。

DevOps 概念

重點回顧

 

  • 資料工程是基礎架構工程的重要一環
  • 資料管線是處理資料的關鍵可靠工具
  • 批次處理按排程執行；串流處理持續進行
  • 批次處理適合處理累積資料
  • 串流處理用於即時資料
DevOps 概念

一起來練習吧！

DevOps 概念

Preparing Video For Download...