Стрімінг даних в одній системі

Концепції стримінгу

Mike Metzger

Data Engineer

Вступ до стрімінгу

Що таке стрімінг?

Дані не зупиняються до обробки
- Після початкової обробки можливі інші компоненти обробки даних
Є безкінечним (немає конкретної кінцевої події)
Визначається потоком даних, а не вмістом

Журнали

Зберігає інформацію про події
Це може бути простий файл text або binary
Або система для експорту інформації багатьом клієнтам (напр., Apache Kafka)
Зберігатиме інформацію поки ресурси не вичерпано / не очищено
Призначення журналу залежить від застосунку

210507-162356 - SUCCESS: Open vvlj45.txt
210507-162254 - ERROR: Open hjry57.txt failed
210507-161523 - SUCCESS: Open kbhn78.txt
210507-161235 - ERROR: Open ldge12.txt failed
210507-160127 - WARNING: keop98.txt exists
210507-155958 - SUCCESS: Open hqaz64.txt
210507-155439 - SUCCESS: Open neuf36.txt
210507-152335 - SUCCESS: Open mqpa91.txt
210507-144756 - ERROR: Open pqzi32.txt failed
210507-143541 - SUCCESS: Open urmn15.txt
210507-143152 - SUCCESS: Open fgty82.txt
210507-141732 - SUCCESS: Open mlwe96.txt

Журнал системних подій

Є у Windows, Mac, Linux
Обробляє й зберігає різну інформацію системних подій
У Windows — EventLog, у Mac / Linux — syslog

Компоненти:

Listener: Приймає повідомлення
Parser: Розуміє, як читати повідомлення
Logic: Вирішує, що робити
Writer: Зберігає повідомлення на потім

Давайте потренуємось!

Концепції стримінгу