Scalarea orizontală a sistemelor de streaming

Concepte de streaming

Mike Metzger

Data Engineer

Recapitulare: scalare orizontală

• În loc de scalare „în sus", scalare „în afară"
• Înseamnă adăugarea capacității de procesare prin mai multe resurse, nu mai rapide / mai bune
• Funcționează cel mai bine cu situații paralele independente
  • Sarcini ușor de împărțit
  • Ex.: procesarea unui grup mare de imagini neinterdependente

Scalare orizontală în streaming

• Procesarea datelor în streaming are de obicei întârzieri minime
• Transferul de date între noduri poate fi dificil
• Este optim să se proceseze un flux complet într-un singur pipeline
• Se creează copii ale pipeline-urilor

Copii de pipeline

• Pe măsură ce apar evenimente, acestea intră într-un pipeline
• Toate sarcinile aferente sunt autoconținute în pipeline, până la finalizare
• Scalare prin adăugarea mai multor pipeline-uri
• Se poate aplica în continuare scalare verticală în interiorul unui pipeline

Considerații suplimentare

• Pot fi necesare alte componente
• Echilibrator de încărcare / director
  • Distribuție circulară
  • Nodul cel mai puțin ocupat
• Apar în cele din urmă blocaje
  • Performanța de scriere pe disc
• Se recomandă scurtarea pipeline-ului de streaming
  • Se elimină necesitatea procesării imediate a datelor

Să exersăm!

Concepte de streaming