Pipelines de date pe Kubernetes

Introducere în Kubernetes

Frank Heilmann

Platform Architect and Freelance Instructor

Ce sunt pipeline-urile de date?

  • Set de procese pentru mutarea, transformarea sau analiza datelor
  • Pași tipici:
    • ETL: Extragere date din surse diverse, Transformare într-o schemă relevantă, Încărcare într-o destinație (ex.: un data warehouse)
    • ELT: Extragere date din surse diverse, Încărcare într-o destinație (ex.: un data lake), Transformare în schemă relevantă când este necesar

Pipelines de date

Introducere în Kubernetes

Pipelines de date pe Kubernetes

  • Pașii unui pipeline de date corespund bine obiectelor Kubernetes:
    • Pașii Extract, Transform, Load: Pod-uri (Deployment sau StatefulSet)
    • Date extrase și transformate: Volume persistente
  • Kubernetes poate scala Deployment-uri și spațiul de stocare după necesitate, crescând astfel debitul

Pipelines de date pe Kubernetes

Introducere în Kubernetes

Instrumente open-source pentru pipeline-uri de date

  • Există multe instrumente open-source ușor de implementat pe Kubernetes
  • Câteva exemple:
    • Extragere: Apache NiFi, Apache Kafka cu Kafka Connect
    • Transformare: Apache Spark, Apache Kafka, PostgreSQL
    • Încărcare: Apache Spark, Apache Kafka cu KSQL, PostgreSQL
    • Stocare peste PV-uri: Minio, Ceph
  • Lista nu este exhaustivă
Introducere în Kubernetes

Să exersăm!

Introducere în Kubernetes

Preparing Video For Download...