Конвейеры данных

Концепции DevOps

Cem Sakarya

DevOps Risk Advisor

Конвейеры данных

Микросервисы взаимодействуют друг с другом через API, а также с независимыми базами данных через конвейеры данных. Конвейеры данных выделены.

Концепции DevOps

ETL

Извлечение; Преобразование; Загрузка

1 https://www.istockphoto.com/nl/vector/data-extract-transform-load-gm1361894912-434102842?phrase=ETL
Концепции DevOps

Пакетная обработка

Конвейер пакетной обработки данных: данные поступают из микросервиса, обрабатываются и загружаются в независимую базу данных.

  • Данные передаются офлайн, порциями
  • Пакетная обработка: большой объём данных
Концепции DevOps

Несколько пользователей одновременно подключаются к бэкенду.

Концепции DevOps

Подключения пользователей принимаются бэкендом через API приёма данных.

Концепции DevOps

Подключения пользователей маршрутизируются к разным микросервисам через конвейер потоковой обработки данных.

Концепции DevOps

Итоги

 

  • Инженерия данных — неотъемлемая часть инфраструктурной инженерии
  • Конвейеры данных — надёжный инструмент для работы с данными
  • Пакетная обработка выполняется по расписанию, потоковая — непрерывно
  • Пакетная обработка подходит для работы с накопленными данными
  • Потоковая обработка работает с данными в реальном времени
Концепции DevOps

Давайте потренируемся!

Концепции DevOps

Preparing Video For Download...