Pipelines de dados

Conceitos de DevOps

Cem Sakarya

DevOps Risk Advisor

Pipelines de dados

Microsserviços se comunicam via APIs. Eles também interagem com bancos de dados independentes por meio de pipelines de dados. Pipelines de dados destacados.

ETL

Extrair; Transformar; Carregar

¹ https://www.istockphoto.com/nl/vector/data-extract-transform-load-gm1361894912-434102842?phrase=ETL

Processamento em lote

Pipeline de dados de processamento em lote recebe dados de um microsserviço, faz operações e carrega em um banco de dados independente.

Mover dados offline em lotes
Processamento em lote: grande volume de dados

Vários usuários se conectam ao backend ao mesmo tempo.

Conexões de usuários são ingeridas no backend pela Ingestion API.

Conexões de usuários são roteadas para diferentes microsserviços via pipeline de dados em streaming.

Recapitulando

Data Engineering é parte essencial de Infrastructure Engineering
Pipelines de dados são ferramentas robustas para lidar com dados
Lotes rodam em horários regulares; streaming roda continuamente
Lotes são úteis para dados acumulados
Streaming lida com dados em tempo real

Vamos praticar!

Conceitos de DevOps