Probleme cu procesarea pe loturi
Concepte de streaming
Mike Metzger
Data Engineer
Întârzieri
- Timp până când datele sunt gata de procesare
- Sunt toate datele disponibile?
- Timp până la începerea procesului
- Când începe următorul interval?
- Timp pentru procesarea datelor
- Cât durează până la finalizare?
- Timp până când datele procesate sunt disponibile pentru utilizare
- Cât durează până când utilizatorii pot folosi datele?
Exemplul #1
Așteptarea datelor sursă
- Mașini care trimit fișiere jurnal la momente de utilizare redusă
- Funcționează bine în condiții de utilizare normală
- Utilizarea ridicată ar limita capacitatea de trimitere a jurnalelor, ascunzând potențial probleme.
Exemplul #2
Așteptarea procesului
- Fișiere jurnal de 100 GB pe zi
- În prezent durează 23 de ore de procesare
- Aproximativ 4,4 GB/oră
- Crește cu 5% pe lună
- Luna viitoare: 105 GB și ~24 de ore
- Luna următoare: ~110 GB și ~25 de ore
- Procesarea unei zile de date durează mai mult de o zi!
Exemplul #3
Așteptarea disponibilității datelor
- Cât durează până când analizele sunt disponibile?
- Raportul de vânzări trebuie să aștepte toate informațiile pentru a fi generat
- Suma întârzierilor reprezintă timpul minim pentru generarea unui raport nou
- Timp de colectare / pregătire date: 1 zi
- Timp de procesare date: 7 ore
- Timp de actualizare sisteme: 5 ore
- Timp de generare raport: 2 min
- Timp total per raport: 1,5 zile
Să exersăm!
Concepte de streaming
