Kubernetes 的資料管線
Kubernetes 入門
Frank Heilmann
Platform Architect and Freelance Instructor
什麼是資料管線？
一組用來搬移、轉換或分析資料的流程
典型步驟：
ETL
：
Extract
從各種資料來源擷取資料， 然後
Transform
轉換為有意義的綱要， 最後
Load
載入目標資料儲存（例如資料倉儲）
ELT
：
Extract
從各種資料來源擷取資料， 然後
Load
載入目標資料儲存（例如資料湖）， 最後在需要時
Transform
轉成有意義的綱要
Kubernetes 的資料管線
資料管線的步驟可對應到 Kubernetes 物件：
Extract、Transform、Load 步驟：Pods（Deployment 或 StatefulSet）
已擷取與已轉換的資料：Persistent Volumes
Kubernetes 可按需擴展 Deployment 與儲存，提升輸送量
資料管線的開源工具
有許多開源軟體可直接部署在 Kubernetes 上
例如：
Extract：
Apache NiFi
、
Apache Kafka
搭配
Kafka Connect
Transform：
Apache Spark
、
Apache Kafka
、
PostgreSQL
Load：
Apache Spark
、
Apache Kafka
搭配
KSQL
、
PostgreSQL
建置於 PV 之上的儲存：
Minio
、
Ceph
此清單並不完整
一起來練習吧！
Kubernetes 入門
Preparing Video For Download...
Preparing Video For Download...
