Введение в событийные вычисления

Концепции потоковой обработки

Mike Metzger

Data Engineer

Прошлое

  • Общий доступ
  • Пакетные задания
  • Программы запускались операторами, результаты передавались пользователям
  • Задержки, потеря результатов и т. д.
Концепции потоковой обработки

Персональные компьютеры

  • Как правило, один пользователь
  • Но по-прежнему работали в пакетном режиме
  • Компьютер выполнял задачи последовательно
  • GUI открыл путь к событийному взаимодействию
Концепции потоковой обработки

Событийная обработка

  • _Не_ запускается в фиксированное время
  • Задачи выполняются при наступлении события
    • Пользователь нажимает кнопку
    • Новый файл загружается в директорию
  • Может запускать пакетный процесс
  • Событийные системы ожидают наступления события
Концепции потоковой обработки

Пример событийной задачи

Мониторинг кликстрима на сайте

  • Активность пользователя возникает при нажатии на ссылки и элементы страницы
  • Клиентское приложение определяет нужные ресурсы и запрашивает их у сервера
  • Сервер возвращает нужные данные и, как правило, записывает запрос в лог
  • Клики (пользовательские события) обычно сохраняются или передаются в центральное хранилище для последующего анализа.
Концепции потоковой обработки

Давайте потренируемся!

Концепции потоковой обработки

Preparing Video For Download...