Hinder vid strömning
Streamingkoncept
Mike Metzger
Data Engineer
Skalning – en översikt
Vertikal skalning – beräkningsresurser
- CPU
- RAM
- Disk (kapacitet och I/O)
- Nätverk
Horisontell skalning – fler noder
- Lägg till maskiner som noder / workers
Inledande utmaningar
- Beräkningsresurser
- Otillräckliga eller långsamma resurser
- Fler noder
- Kräver mer anslutning
- Någon form av delade resurser
- Ökad komplexitet
- Vanligtvis någon form av klusterhantering
Kommunikationsproblem
Typer av meddelandeproblem:
- Saknade meddelanden
- Försenade meddelanden
- Meddelanden i fel ordning
- Duplicerade meddelanden
Saknade meddelanden
- Representerar händelser som aldrig anländer
- Kan vara svåra att upptäcka
- Hanteras ibland med ett sekvensidentifierare
- Att begära de saknade meddelandena kan fördröja vidare svar
Försenade meddelanden
- Liknar saknade meddelanden
- Kan orsaka problem i bearbetningsflödet på grund av förseningar
- Ofta kopplat till resursbrister i systemet
Meddelanden i fel ordning
- En kombination av saknade och försenade meddelanden
- Uppstår när ett äldre meddelande anländer efter nyare
- Kräver någon form av sekvens eller tillstånd för att upptäckas
- Hanteringen beror på typen av dataprocess som körs
Duplicerade meddelanden
- Uppstår när samma meddelande skickas flera gånger eller skickas om på grund av systemfel
- Kräver sekvenshantering för att undvikas helt, men kan ibland ignoreras
- Är inte alltid ett problem (tänk på en temperaturmätning)
Nu kör vi en övning!
Streamingkoncept
