Kubernetes’te Veri Boru Hatları

Kubernetes’e Giriş

Frank Heilmann

Platform Architect and Freelance Instructor

Veri Boru Hatları Nedir?

Veriyi taşımak, dönüştürmek veya analiz etmek için süreçler bütünü
Tipik adımlar:
- ETL: Veriyi çeşitli kaynaklardan Extract edin, sonra anlamlı bir şemaya Transform edin, son olarak hedef veri havuzuna (ör. veri ambarı) Load edin
- ELT: Veriyi çeşitli kaynaklardan Extract edin, ardından hedef veri havuzuna (ör. veri gölü) Load edin, ihtiyaç duyulunca veriyi anlamlı bir şemaya Transform edin

Veri Boru Hatları

Kubernetes’te Veri Boru Hatları

Bir veri boru hattının adımları Kubernetes nesnelerine iyi eşlenir:
- Extract, Transform, Load adımları: Pod’lar (Deployment veya StatefulSet)
- Çıkarılan ve dönüştürülen veri: Kalıcı Hacimler (Persistent Volumes)
Kubernetes, gerektiğinde Deployment’ları ve depolamayı ölçekleyerek verimi artırabilir

Kubernetes’te Veri Boru Hatları

Veri Boru Hatları için Açık Kaynak Araçlar

Kubernetes üzerinde kolayca dağıtılabilen pek çok açık kaynak yazılım vardır
Örnekler:
- Extract: Apache NiFi, Apache Kafka ve Kafka Connect
- Transform: Apache Spark, Apache Kafka, PostgreSQL
- Load: Apache Spark, Apache Kafka ve KSQL, PostgreSQL
- PV’lerin üzerinde depolama: Minio, Ceph

Bu liste kesinlikle eksiksiz değildir

Hadi pratik yapalım!

Kubernetes’e Giriş

Preparing Video For Download...