Вертикальное масштабирование потоковых систем

Концепции потоковой обработки

Mike Metzger

Data Engineer

Зачем масштабировать?

• Обрабатывать те же данные быстрее
• Обрабатывать больше данных за то же время
• Доставлять данные оперативнее (снижать задержку)
• Соблюдать гарантии (SLA)

Вертикальное масштабирование

• Расширить возможности одной системы
• Более быстрые / мощные компоненты
  • CPU, RAM, диск, сеть
• Всё это влияет на производительность потоковой обработки

Производительность CPU / GPU

• Более быстрое выполнение
• Более эффективное выполнение
  • Новые и улучшенные наборы инструкций
• Обработка на GPU
  • Машинное обучение
  • Глубокое обучение
  • Обработка изображений
  • Матричные операции

Как это влияет на потоковую обработку?

• Потоковые процессы не останавливаются до завершения
• Разные элементы могут находиться в разных частях конвейера, однако общая пропускная способность ограничена производительностью системы
• Одни компоненты влияют сильнее других — в зависимости от нагрузки
• Проводите бенчмарки и тестирование!

Давайте потренируемся!

Концепции потоковой обработки