Toplu iş sorunları
Akış Kavramları
Mike Metzger
Data Engineer
Gecikmeler
- Veri hazır olana dek geçen süre
- Tüm veriler mevcut mu?
- Süreç başlamasına dek geçen süre
- Sonraki aralık ne zaman başlar?
- Veriyi işleme süresi
- Tamamlanmasına ne kadar var?
- İşlenmiş verinin kullanıma sunulmasına dek geçen süre
- Kullanıcılar veriyi ne zaman kullanabilir?
Örnek #1
Kaynak veriyi beklemek
- Makineler günlük dosyalarını düşük kullanım zamanlarında gönderiyor
- Normal kullanımda sorun yok
- Yüksek kullanım günlük gönderimini sınırlar, sorunları gizleyebilir.
Örnek #2
Süreci beklemek
- Günlük başına 100GB
- İşlemek şu anda 23 saat sürüyor
- Yaklaşık 4,4GB/saat
- Aylık %5 büyür
- Gelecek ay 105GB olur ve ~24 saat sürer
- Sonraki ay ~110GB olur ve ~25 saat sürer
- Bir günün verisini işlemeyi bir günden uzun sürüyor!
Örnek #3
Verinin kullanıma açılmasını beklemek
- Analitikler ne zaman hazır?
- Satış raporu tüm bilgiler üretilene kadar bekler
- Gecikmelerin toplamı yeni rapor için asgari süredir
- Veriyi toplama/hazırlama süresi: 1 gün
- Veriyi işleme süresi: 7 saat
- Sistemleri güncelleme süresi: 5 saat
- Raporu oluşturma süresi: 2 dk
- Her rapor için toplam süre: 1,5 gün
Haydi pratik yapalım!
Akış Kavramları
