Очереди

Концепции потоковой обработки

Mike Metzger

Data Engineer

Что такое очередь?

• По сути, это очередь
• Полезна для обработки по порядку
• Первым пришёл — первым обслужен (FIFO)
• Иногда называется буфером
• Детали сильно различаются в зависимости от реализации

¹ Фото: Joshua Tsu, Unsplash

Зачем нужны очереди?

• Очереди позволяют отслеживать порядок обработки
• Могут обрабатываться одним или несколькими исполнителями
• Могут быть отделены от остальной части конвейера обработки
• Достаточно легко масштабируются вертикально и горизонтально
  • Вертикальное масштабирование — более быстрое оборудование
  • Горизонтальное масштабирование — дополнительные исполнители

Проблемы очередей

• Некорректные данные или ошибки обработки
  • Клиент платит недействительной картой
• Различия в объёме данных
  • Экспресс-касса с 100 товарами
• Иногда сложно определить длину очереди
  • Первый показ нового фильма
• Ограничения масштабирования
  • Нет места для дополнительных касс

Давайте потренируемся!

Концепции потоковой обработки