Введение в пакетную обработку

Концепции потоковой обработки

Mike Metzger

Data Engineer

Что такое пакетная обработка?

• Обработка данных группами
• Выполняется от начала процесса до конца
  • Данные не добавляются в процессе
• Как правило, запускается по
  • расписанию
  • или при наступлении события
• Обрабатывается определённый объём данных (размер пакета)
• Один запуск пакетного процесса называют заданием

Типичные сценарии пакетной обработки

• Чтение файлов или их фрагментов (текст, mp3 и др.)
• Отправка и получение электронной почты
• Печать

Зачем использовать пакетную обработку?

• Простота
• Высокая стабильность
• Множество способов повысить производительность

Давайте потренируемся!

Концепции потоковой обработки