Введение в потоковую передачу данных в реальном времени

Концепции потоковой обработки

Mike Metzger

Data Engineer

Что такое «реальное время»?

  • Определение зависит от контекста
  • Как правило, задаёт временной интервал отклика
  • Временной интервал воспринимается как своего рода гарантия
  • Примеры:
    • 1 день
    • 1 час
    • 1 минута
Концепции потоковой обработки

Пример из жизни

Почтовое отделение

  • Разные классы обслуживания
  • Сроки доставки зависят от класса обслуживания
  • Пропускная способность для быстрых услуг ограничена
  • Стоимость пропорциональна скорости обслуживания
  • Отправитель выбирает услугу исходя из доступных вариантов
Концепции потоковой обработки

Связь с потоковой передачей?

Как реальное время связано с потоковыми данными?

  • Потоковые процессы ограничены доступными ресурсами
    • Как быстро данные передаются?
    • ... обрабатываются?
    • ... доставляются?
    • Какова стоимость?
Концепции потоковой обработки

Ресурсы определяют реализацию

  • Помогает определить требования к процессам потоковой передачи
  • Скорость передачи
  • Задержка обработки
  • Доставка
  • Хранение данных
  • Стоимость!
Концепции потоковой обработки

Давайте потренируемся!

Концепции потоковой обработки

Preparing Video For Download...