Streaming-blokkades
Streaming-concepten
Mike Metzger
Data Engineer
Herhaling schaalbaarheid
Verticale schaalvergroting - compute-resources
- CPU
- RAM
- Schijf (capaciteit en IO)
- Netwerk
Horizontale schaalvergroting - meer nodes
- Machines toevoegen als nodes/workers
Eerste aandachtspunten
- Compute-resources
- Onvoldoende of trage resources
- Meer nodes
- Vraagt om meer connectiviteit
- Een vorm van gedeelde resources
- Extra complexiteit
- Meestal clusterbeheer nodig
Communicatieproblemen
Types berichtproblemen:
- Ontbrekende berichten
- Vertraagde berichten
- Berichten buiten volgorde
- Herhaalde berichten
Ontbrekende berichten
- Gebeurtenissen die nooit verschijnen
- Moeilijk te detecteren
- Soms opgelost met een volgorde-ID
- Opvragen kan latere reacties vertragen
Vertraagde berichten
- Vergelijkbaar met ontbrekende berichten
- Kan de pijplijn verstoren door vertragingen
- Vaak door beperkte systeemresources
Berichten buiten volgorde
- Combinatie van ontbrekende/vertraagde berichten
- Ontstaat als een ouder bericht na nieuwere verschijnt
- Vereist een vorm van volgorde of state om te detecteren
- Afhandeling hangt af van het type dataproces
Herhaalde berichten
- Treedt op als hetzelfde bericht meerdere keren wordt verzonden of herverzonden door systeemproblemen
- Volgorde-afhandeling nodig om volledig te voorkomen, maar soms te negeren
- Soms geen probleem (bv. een temperatuurmeting)
Laten we oefenen!
Streaming-concepten
