Tek sistem veri akışı
Akış Kavramları
Mike Metzger
Data Engineer
Akışa giriş
Akış nedir?
- Veriler işlenene kadar durmaz
- İlk işlemden sonra başka veri işleme bileşenleri olabilir
- Ucu açıktır (belirli bir bitiş olayı yoktur)
- İçeriğe değil, verinin akışına göre tanımlanır
Günlükler
- Olay bilgilerini saklar
- Basit bir metin veya ikili dosya olabilir
- Ya da bilgiyi birden çok istemciye aktaran bir sistem (örn. Apache Kafka)
- Bilgiyi kaynaklar tükenene/kırpılana kadar tutar
- Günlüğün amacı uygulamaya bağlıdır
210507-162356 - SUCCESS: Open vvlj45.txt
210507-162254 - ERROR: Open hjry57.txt failed
210507-161523 - SUCCESS: Open kbhn78.txt
210507-161235 - ERROR: Open ldge12.txt failed
210507-160127 - WARNING: keop98.txt exists
210507-155958 - SUCCESS: Open hqaz64.txt
210507-155439 - SUCCESS: Open neuf36.txt
210507-152335 - SUCCESS: Open mqpa91.txt
210507-144756 - ERROR: Open pqzi32.txt failed
210507-143541 - SUCCESS: Open urmn15.txt
210507-143152 - SUCCESS: Open fgty82.txt
210507-141732 - SUCCESS: Open mlwe96.txt
Sistem olay günlüğü
- Windows, Mac, Linux üzerinde bulunur
- Çeşitli sistem olay bilgilerini işler ve depolar
- Windows EventLog, Mac / Linux syslog
Bileşenler:
- Listener: İletileri kabul eder
- Parser: İletileri nasıl okuyacağını bilir
- Logic: Ne yapılacağına karar verir
- Writer: İletileri sonra için saklar
Haydi pratik yapalım!
Akış Kavramları
