सिंगल सिस्टम डेटा स्ट्रीमिंग
स्ट्रीमिंग कॉन्सेप्ट्स
Mike Metzger
Data Engineer
स्ट्रीमिंग परिचय
स्ट्रीमिंग क्या है?
- डेटा तब तक रुकता नहीं जब तक प्रोसेस न हो जाए
- शुरुआती प्रोसेस के बाद, अन्य डेटा प्रोसेसिंग कंपोनेंट हो सकते हैं
- यह ओपन-एंडेड है (कोई विशेष समापन इवेंट नहीं)
- यह डेटा के flow से परिभाषित है, content से नहीं
लॉग्स
- इवेंट जानकारी स्टोर करें
- एक सरल text या binary फ़ाइल हो सकती है
- या कई क्लाइंट्स को जानकारी एक्सपोर्ट करने की प्रणाली (जैसे, Apache Kafka)
- जानकारी तब तक स्टोर होगी जब तक संसाधन समाप्त/प्रून न हो जाएँ
- लॉग का उद्देश्य एप्लिकेशन पर निर्भर करता है
210507-162356 - SUCCESS: Open vvlj45.txt
210507-162254 - ERROR: Open hjry57.txt failed
210507-161523 - SUCCESS: Open kbhn78.txt
210507-161235 - ERROR: Open ldge12.txt failed
210507-160127 - WARNING: keop98.txt exists
210507-155958 - SUCCESS: Open hqaz64.txt
210507-155439 - SUCCESS: Open neuf36.txt
210507-152335 - SUCCESS: Open mqpa91.txt
210507-144756 - ERROR: Open pqzi32.txt failed
210507-143541 - SUCCESS: Open urmn15.txt
210507-143152 - SUCCESS: Open fgty82.txt
210507-141732 - SUCCESS: Open mlwe96.txt
सिस्टम इवेंट लॉग
- Windows, Mac, Linux पर मौजूद
- विभिन्न सिस्टम इवेंट जानकारी प्रोसेस और स्टोर करता है
- Windows EventLog, Mac / Linux syslog
कंपोनेंट्स:
- Listener: संदेशों को स्वीकार करता है
- Parser: संदेशों को पढ़ना समझता है
- Logic: क्या करना है, यह निर्णय लेता है
- Writer: संदेशों को बाद के लिए स्टोर करता है
अभ्यास करते हैं!
स्ट्रीमिंग कॉन्सेप्ट्स
