Пакетная обработка и потоковая передача

Концепции потоковой обработки

Mike Metzger

Data Engineer

Краткое повторение

Пакетная обработка работает с данными группами, или пакетами
Ключевые параметры пакетной обработки — размер пакета и частота его отправки
Очереди хранят и обрабатывают данные в порядке добавления
Очередь — это пакет с размером пакета равным одному!
Потоки обрабатывают данные непрерывно, без пауз
Потоки не имеют фиксированного конца
Потоки сохраняют порядок!

Пожар!

Живая цепочка
- Размер пакета (насколько большое ведро)
- Частота пакетов (как быстро передавать ведро)

Живая цепочка

Пожарный шланг
- Непрерывный поток данных
- Неизвестно, сколько воды

Пожарный шланг

¹ Albert B. Kinne, общественное достояние, через Wikimedia Commons ² Commander, U.S. Naval Forces Europe-Africa/U.S. 6th Fleet, общественное достояние, через Wikimedia Commons

Как выбрать оптимальный подход?

Выбор зависит от требований
Если данные можно обрабатывать группами, пакетная обработка часто предпочтительнее — она проще
Если нужен порядок, но допустимы паузы, используйте очередь
Если нужен непрерывный поток или объём данных неизвестен, подойдёт потоковая обработка
Если нельзя прерваться до завершения обработки — используйте потоковую обработку

Давайте потренируемся!

Концепции потоковой обработки