Конвейеры данных
Концепции DevOps
Cem Sakarya
DevOps Risk Advisor
Конвейеры данных
ETL
1
https://www.istockphoto.com/nl/vector/data-extract-transform-load-gm1361894912-434102842?phrase=ETL
Пакетная обработка
Данные передаются офлайн, порциями
Пакетная обработка: большой объём данных
Итоги
Инженерия данных — неотъемлемая часть инфраструктурной инженерии
Конвейеры данных — надёжный инструмент для работы с данными
Пакетная обработка выполняется по расписанию, потоковая — непрерывно
Пакетная обработка подходит для работы с накопленными данными
Потоковая обработка работает с данными в реальном времени
Давайте потренируемся!
Концепции DevOps
Preparing Video For Download...