Вертикальне масштабування потокових систем

Концепції стримінгу

Mike Metzger

Data Engineer

Навіщо масштабувати?

• Опрацьовуйте ті самі дані швидше
• Опрацьовуйте більше даних за той самий час
• Доставляйте дані швидше (менша затримка)
• Дотримуйтеся гарантій (SLA)

Вертикальне масштабування

• Покращуйте можливості одного системного вузла
• Швидші / кращі компоненти
  • CPU, RAM, диск, мережа
• Усе це впливає на продуктивність стримінгу

Швидший CPU / GPU

• Швидше виконання
• Краще виконання
  • Нові / покращені набори інструкцій
• Обробка на GPU
  • Машинне навчання
  • Глибоке навчання
  • Обробка зображень
  • Матричні операції

Як це впливає на стримінг?

• Потокові процеси не зупиняються до завершення
• Різні елементи можуть бути в різних частинах конвеєра, але загальна спроможність обмежена продуктивністю системи
• Деякі компоненти впливають більше за інші, залежно від навантаження
• Проводьте бенчмарки / тести!

Давайте потренуємось!

Концепції стримінгу