การสตรีมข้อมูลบนระบบเดียว
แนวคิดด้าน Streaming
Mike Metzger
Data Engineer
แนะนำ Streaming
Streaming คืออะไร?
- ข้อมูลไม่หยุดจนกว่าจะถูกประมวลผล
- หลังประมวลผลครั้งแรก อาจมีส่วนประมวลผลอื่นต่อได้
- เป็นกระบวนการปลายเปิด (ไม่มีเหตุการณ์สิ้นสุดที่แน่นอน)
- นิยามด้วยการไหลของข้อมูล ไม่ใช่เนื้อหา
Log
- จัดเก็บข้อมูลเหตุการณ์
- อาจเป็นไฟล์ text หรือ binary ธรรมดา
- หรือระบบที่ส่งข้อมูลไปยัง client หลายตัว (เช่น Apache Kafka)
- จัดเก็บข้อมูลจนกว่าทรัพยากรจะเต็มหรือถูกล้าง
- จุดประสงค์ของ log ขึ้นอยู่กับแต่ละแอปพลิเคชัน
210507-162356 - SUCCESS: Open vvlj45.txt
210507-162254 - ERROR: Open hjry57.txt failed
210507-161523 - SUCCESS: Open kbhn78.txt
210507-161235 - ERROR: Open ldge12.txt failed
210507-160127 - WARNING: keop98.txt exists
210507-155958 - SUCCESS: Open hqaz64.txt
210507-155439 - SUCCESS: Open neuf36.txt
210507-152335 - SUCCESS: Open mqpa91.txt
210507-144756 - ERROR: Open pqzi32.txt failed
210507-143541 - SUCCESS: Open urmn15.txt
210507-143152 - SUCCESS: Open fgty82.txt
210507-141732 - SUCCESS: Open mlwe96.txt
System Event Log
- ใช้งานได้บน Windows, Mac, Linux
- ประมวลผลและจัดเก็บข้อมูลเหตุการณ์ของระบบต่างๆ
- Windows ใช้ EventLog, Mac / Linux ใช้ syslog
องค์ประกอบ:
- Listener: รับข้อความ
- Parser: ทำความเข้าใจวิธีอ่านข้อความ
- Logic: ตัดสินใจว่าจะดำเนินการอย่างไร
- Writer: จัดเก็บข้อความไว้ใช้ภายหลัง
มาฝึกกันเถอะ!
แนวคิดด้าน Streaming
