Popüler akış sistemleri

Akış Kavramları

Mike Metzger

Data engineer

Akış araçları

• İhtiyaca göre çeşitli araçlar mevcuttur
• Tasarımcıların işe en uygun aracı seçmesini sağlar
• Yaygın sistemler:
  • Celery
  • Kafka
  • Spark Streaming

Celery

• Dağıtık görev kuyruğu / FIFO
• Öncelikle bir iş/görev kuyruğu olarak kullanılır
• Sıklıkla eşzamansız görevler için kullanılır
  • Parola sıfırlama e-postaları gönderme
  • Dijital siparişleri tamamlama
  • Görselleri yeniden boyutlandırma
• Önemli miktarda mesajın gerçek zamanlı işlenmesini sağlar
• Yönetim ve ölçekleme (dikey ve yatay) özellikleri sunar

Apache Kafka

• Dağıtık olay akışı sistemi
• Olayları üreticiler ve tüketiciler arasında göndermek için tasarlanmıştır
  • Üreticiler, bir konuda olaylar üretir
  • Konular, belirli biçimdeki iletilerdir
  • Tüketiciler, yeni olayları alır

• Farklı tüketiciler olayları ihtiyaca göre işler (günlükleme, dönüşüm, iletme vb.)
• Olayların depolanmasını belirtildiği şekilde yönetir
• Son derece güçlüdür, ancak kurulumu zordur

Kafka uygulamaları

• Birden çok sistem arasında veri aktarma için idealdir
  • Tek doğruluk kaynağı
  • Değişiklik verisi yakalama
  • Veri yedekleri
  • Veri sistemi taşımaları

Spark Streaming

• Apache Spark'ın parçasıdır
• Akış verisini işlemek için tasarlanmıştır
• Spark'ın Scala, Python, SQL vb. ile işleme yeteneklerini kullanır
• Büyük veri ve makine öğrenimi senaryolarında faydalıdır
• Yığından akışa işlemeye kolay geçiş sağlar
• Olay depolamak/günlüklemek için değil, veriyi işlemek/değiştirmek içindir

Hadi pratik yapalım!

Akış Kavramları