Akış sistemlerini yatay ölçekleme
Akış Kavramları
Mike Metzger
Data Engineer
Yatay ölçekleme özeti
- "Yukarı" yerine "dışa" ölçekleyin
- Genelde daha hızlı/iyi yerine daha fazlasını ekleyerek işlem gücü artırılır
- Utanç verici derecede paralel durumlarda en iyi çalışır
- Kolayca bölünebilen görevler
- Örn. birbirine bağımlı olmayan çok sayıda görseli işlemek
Akışla yatay ölçekleme
- Akış veri işleme genelde asgari gecikmeye sahiptir
- İşçiler arasında veri aktarımını zor hale getirebilir
- Tüm akışı tek bir boru hattında işlemek en iyisidir
- Boru hatlarının kopyalarını oluşturun
Boru hattı kopyaları
- Olaylar oldukça önce bir boru hattına girer
- İlgili tüm görevler, bitene kadar boru hattı içinde kendi kendine yeterlidir
- Daha fazla boru hattı ekleyerek ölçekleyin
- Boru hattı içinde dikey ölçekleme de yapılabilir
Ek hususlar
- Diğer bileşenler gerekebilir
- Yük dengeleyici / yönlendirici
- Kart dağıtıcısı
- En az meşgul düğüm
- Eninde sonunda darboğazlara ulaşırsınız
- Disk yazma performansı
- Akış boru hattını kısaltmayı düşünün
- Veriyi hemen işleme ihtiyacını kaldırın
Hadi pratik yapalım!
Akış Kavramları
