Конвеєри даних

Концепції DevOps

Cem Sakarya

DevOps Risk Advisor

Конвеєри даних

Мікросервіси спілкуються між собою через API. Також вони працюють з окремими базами даних через конвеєри даних. Конвеєри даних виділено.

Концепції DevOps

ETL

Extract; Transform; Load

1 https://www.istockphoto.com/nl/vector/data-extract-transform-load-gm1361894912-434102842?phrase=ETL
Концепції DevOps

Пакетна обробка

Пакетний конвеєр обробки даних бере дані з мікросервісу, обробляє їх і завантажує в окрему базу даних.

  • Переміщуйте офлайн-дані пакетами
  • Пакетна обробка: великі обсяги даних
Концепції DevOps

Кілька користувачів одночасно під'єднуються до бекенду.

Концепції DevOps

Підключення користувачів надходять у бекенд через Ingestion API.

Концепції DevOps

Підключення користувачів спрямовуються до різних мікросервісів через потоковий конвеєр даних.

Концепції DevOps

Підсумок

 

  • Інженерія даних є складовою інженерії інфраструктури
  • Конвеєри даних — надійні інструменти для роботи з даними
  • Пакетна обробка за розкладом, потокова — безперервно
  • Пакетна обробка корисна для накопичених даних
  • Потокова обробка працює з даними в реальному часі
Концепції DevOps

Давайте потренуємось!

Концепції DevOps

Preparing Video For Download...