Toplu işlemeyi ölçekleme

Akış Kavramları

Mike Metzger

Data Engineer

Ölçekleme nedir?

• Performansı artırma
  • Daha hızlı işleme
    • Aynı miktarda veriyi işlemek için daha az süre
  • Daha fazla veri işleme
    • Aynı sürede daha fazla veri işlenir

Dikey ölçekleme

• Daha iyi donanım
  • Daha hızlı CPU
  • Daha hızlı G/Ç
  • Daha fazla bellek
• Genellikle en kolay ölçekleme türüdür
  • En az karmaşıklık
  • Altyapı programlarını/algoritmaları nadiren değiştirmeyi gerektirir

¹ Görseller: https://unsplash.com/@jeremy0

Dikey ölçeklemenin eksileri

• Doğası gereği sınırlıdır
• Pahalı olabilir / düşük YG
• Endüstri iyileştirmeleri garantili değildir

Yatay ölçekleme

• Bir görevi birden çok parçaya bölme
  • Daha fazla bilgisayar
  • Daha fazla CPU da olabilir
• En iyi, "utandırıcı derecede paralel" görevlerde
  • Kolayca çalışanlara bölünebilen görevler
• Çok maliyet etkin olabilir
• Bazı süreçlerde neredeyse doğrusal performans artışı sağlar

Yatay ölçeklemenin eksileri

• Karmaşıklık
  • Bir işleme çerçevesi gerekir (Apache Spark veya Dask gibi)
  • Daha kapsamlı ağ gerekir
• Sürekli yönetim
• Gereksinimlere bağlı olarak pahalı olabilir
• "Paralel olmayan" görevler

Hadi pratik yapalım!

Akış Kavramları