Obstacole în streaming
Concepte de streaming
Mike Metzger
Data Engineer
Recapitulare scalare
Scalare verticală - resurse de calcul
- CPU
- RAM
- Disc (capacitate și IO)
- Rețea
Scalare orizontală - noduri suplimentare
- Adăugare de mașini ca noduri / workeri
Preocupări inițiale
- Resurse de calcul
- Lipsă sau resurse lente
- Mai multe noduri
- Necesită mai multă conectivitate
- O formă de resurse partajate
- Complexitate sporită
- De obicei o formă de management al clusterului
Probleme de comunicare
Tipuri de probleme de mesagerie:
- Mesaje lipsă
- Mesaje întârziate
- Mesaje în afara ordinii
- Mesaje repetate
Mesaje lipsă
- Reprezintă evenimente care nu apar niciodată
- Pot fi greu de detectat
- Uneori gestionate cu un identificator de secvență
- Solicitarea mesajelor lipsă poate întârzia răspunsurile ulterioare
Mesaje întârziate
- Similar cu mesajele lipsă
- Pot cauza probleme în pipeline din cauza întârzierilor
- Adesea legate de probleme de resurse de sistem
Mesaje în afara ordinii
- Combinație de mesaje lipsă / întârziate
- Apare când un mesaj mai vechi sosește după cele mai noi
- Necesită o măsură de secvență sau stare pentru detectare
- Gestionarea depinde de tipul procesului de date rulat
Mesaje repetate
- Apare când același mesaj este trimis de mai multe ori sau retrimitere din cauza unor probleme de sistem
- Necesită gestionarea secvenței pentru a evita complet, dar poate fi ignorat
- Uneori nu este o problemă (de ex. o măsurătoare de temperatură)
Să exersăm!
Concepte de streaming
