Problem med batchbearbetning
Streamingkoncept
Mike Metzger
Data Engineer
Fördröjningar
- Tid tills data är redo att bearbeta
- Finns all data tillgänglig?
- Tid tills processen startar
- När börjar nästa intervall?
- Tid att bearbeta data
- Hur lång tid tills det är klart?
- Tid tills bearbetad data är tillgänglig för användning
- Hur länge innan användare kan nyttja datan?
Exempel 1
Väntar på källdata
- Maskiner skickar loggfiler vid låg belastning
- Fungerar bra vid normal belastning
- Hög belastning kan begränsa möjligheten att skicka loggar, vilket riskerar att dölja problem.
Exempel 2
Väntar på processen
- 100 GB loggfiler per dag
- Tar för närvarande 23 tim att bearbeta
- Ungefär 4,4 GB/tim
- Växer med 5 % per månad
- Nästa månad: 105 GB och ~24 tim
- Månaden därpå: ~110 GB och ~25 tim
- Det tar längre än ett dygn att bearbeta ett dygns data!
Exempel 3
Väntar på att data ska bli tillgänglig
- Hur lång tid tills analyser är tillgängliga?
- Säljrapporten måste vänta på att all information samlas in
- Summan av fördröjningarna är minimitiden för att generera en ny rapport
- Tid för att samla in / förbereda data: 1 dag
- Tid för att bearbeta data: 7 tim
- Tid för att uppdatera system: 5 tim
- Tid för att generera rapport: 2 min
- Total tid per rapport: 1,5 dagar
Nu kör vi en övning!
Streamingkoncept
