Вступ до пакетної обробки

Концепції стримінгу

Mike Metzger

Data Engineer

Що таке пакетна обробка?

• Обробка даних групами
• Запускається від початку процесу до завершення
  • Без додавання даних між цим
• Зазвичай запускається внаслідок
  • інтервалу
  • події запуску
• Обробка фіксованим розміром (batch size)
• Окремий запуск пакетної обробки часто називають job

Поширені сценарії пакетної обробки

• Читання файлів або їх частин (text, mp3 тощо)
• Надсилання / отримання електронної пошти
• Друк

Навіщо пакетна обробка?

• Проста
• Зазвичай стабільна
• Є багато способів підвищити продуктивність

Давайте потренуємось!

Концепції стримінгу