Потоковая передача данных в одной системе
Концепции потоковой обработки
Mike Metzger
Data Engineer
Введение в стриминг
Что такое стриминг?
- Данные поступают непрерывно до момента обработки
- После первичной обработки могут быть другие компоненты
- Процесс не имеет конечной точки
- Определяется потоком данных, а не их содержимым
Логи
- Хранят информацию о событиях
- Могут быть простым текстовым или бинарным файлом
- Или системой для передачи данных нескольким клиентам (например, Apache Kafka)
- Хранят данные до исчерпания ресурсов / очистки
- Назначение лога зависит от приложения
210507-162356 - SUCCESS: Open vvlj45.txt
210507-162254 - ERROR: Open hjry57.txt failed
210507-161523 - SUCCESS: Open kbhn78.txt
210507-161235 - ERROR: Open ldge12.txt failed
210507-160127 - WARNING: keop98.txt exists
210507-155958 - SUCCESS: Open hqaz64.txt
210507-155439 - SUCCESS: Open neuf36.txt
210507-152335 - SUCCESS: Open mqpa91.txt
210507-144756 - ERROR: Open pqzi32.txt failed
210507-143541 - SUCCESS: Open urmn15.txt
210507-143152 - SUCCESS: Open fgty82.txt
210507-141732 - SUCCESS: Open mlwe96.txt
Журнал системных событий
- Присутствует в Windows, Mac, Linux
- Обрабатывает и хранит различные данные о системных событиях
- EventLog в Windows, syslog в Mac / Linux
Компоненты:
- Слушатель: принимает сообщения
- Парсер: читает и интерпретирует сообщения
- Логика: определяет, что делать
- Обработчик записи: сохраняет сообщения
Давайте потренируемся!
Концепции потоковой обработки
