Streaming data sistem tunggal

Konsep Streaming

Mike Metzger

Data Engineer

Pengantar streaming

Apa itu streaming?

Data terus mengalir hingga diproses
- Setelah pemrosesan awal, bisa ada komponen pemrosesan lain
Tanpa akhir pasti (tidak ada event akhir spesifik)
Didefinisikan oleh aliran data, bukan kontennya

Log

Menyimpan informasi event
Bisa berupa file teks atau biner sederhana
Atau sistem untuk mengekspor info ke banyak klien (mis. Apache Kafka)
Menyimpan info hingga sumber daya habis / dipangkas
Tujuan log bergantung pada aplikasi

210507-162356 - SUCCESS: Open vvlj45.txt
210507-162254 - ERROR: Open hjry57.txt failed
210507-161523 - SUCCESS: Open kbhn78.txt
210507-161235 - ERROR: Open ldge12.txt failed
210507-160127 - WARNING: keop98.txt exists
210507-155958 - SUCCESS: Open hqaz64.txt
210507-155439 - SUCCESS: Open neuf36.txt
210507-152335 - SUCCESS: Open mqpa91.txt
210507-144756 - ERROR: Open pqzi32.txt failed
210507-143541 - SUCCESS: Open urmn15.txt
210507-143152 - SUCCESS: Open fgty82.txt
210507-141732 - SUCCESS: Open mlwe96.txt

Log event sistem

Ada di Windows, Mac, Linux
Memproses dan menyimpan berbagai informasi event sistem
Windows EventLog, Mac / Linux syslog

Komponen:

Listener: Menerima pesan
Parser: Memahami cara membaca pesan
Logic: Menentukan tindakan
Writer: Menyimpan pesan untuk nanti

Ayo berlatih!

Konsep Streaming