Blocchi nello streaming
Concetti di Streaming
Mike Metzger
Data Engineer
Ripasso sulla scalabilità
Scalabilità verticale - risorse di calcolo
- CPU
- RAM
- Disco (capacità e IO)
- Rete
Scalabilità orizzontale - più nodi
- Aggiungi macchine come nodi/worker
Preoccupazioni iniziali
- Risorse di calcolo
- Risorse insufficienti o lente
- Più nodi
- Richiede più connettività
- Una forma di risorse condivise
- Maggiore complessità
- In genere un cluster manager
Problemi di comunicazione
Tipi di problemi di messaggistica:
- Messaggi mancanti
- Messaggi in ritardo
- Messaggi fuori ordine
- Messaggi ripetuti
Messaggi mancanti
- Eventi che non arrivano mai
- Difficili da rilevare
- A volte gestiti con un identificatore di sequenza
- Richiedere i messaggi mancanti può ritardare altre risposte
Messaggi in ritardo
- Simili ai messaggi mancanti
- Possono creare problemi alla pipeline per i ritardi
- Spesso dovuti a risorse di sistema
Messaggi fuori ordine
- Combinazione di messaggi mancanti/in ritardo
- Accade quando un messaggio vecchio arriva dopo quelli nuovi
- Richiede una qualche sequenza o stato per rilevarlo
- La gestione dipende dal tipo di processo in esecuzione
Messaggi ripetuti
- Succede quando lo stesso messaggio viene inviato più volte o reinviato per problemi di sistema
- Richiede gestione della sequenza per evitarlo del tutto, ma a volte si può ignorare
- A volte non è un problema (es. una misura di temperatura)
Passons à la pratique !
Concetti di Streaming
