Veri Boru Hatları

DevOps Kavramları

Cem Sakarya

DevOps Risk Advisor

Veri boru hatları

Mikro hizmetler API'lerle haberleşir. Ayrıca bağımsız veritabanlarıyla veri boru hatları üzerinden etkileşir. Veri boru hatları vurgulanmıştır.

DevOps Kavramları

ETL

Çıkar; Dönüştür; Yükle

1 https://www.istockphoto.com/nl/vector/data-extract-transform-load-gm1361894912-434102842?phrase=ETL
DevOps Kavramları

Yığın işleme

Yığın İşleme Veri Boru Hattı, veriyi bir mikro hizmetten alır, üzerinde işlemler yapar ve bağımsız bir veritabanına yükler.

  • Çevrimdışı veriyi yığınlar hâlinde taşıyın
  • Yığın İşleme: Büyük miktarda veri
DevOps Kavramları

Birden çok kullanıcı aynı anda arka uca bağlanır.

DevOps Kavramları

Kullanıcı bağlantıları, içeri alma API'siyle arka uca alınır.

DevOps Kavramları

Kullanıcı bağlantıları, akış veri boru hattı ile farklı mikro hizmetlere yönlendirilir.

DevOps Kavramları

Özet

 

  • Veri Mühendisliği, Altyapı Mühendisliğinin ayrılmaz bir parçasıdır
  • Veri boru hatları, veriyi işlemek için sağlam araçlardır
  • Yığın işleme düzenli zamanlarda çalışır, akış işleme sürekli çalışır
  • Yığın işleme, biriken veriyi ele almak için uygundur
  • Akış işleme, gerçek zamanlı veriyi işler
DevOps Kavramları

Hadi pratik yapalım!

DevOps Kavramları

Preparing Video For Download...