Datové pipelines

Koncepty DevOps

Cem Sakarya

DevOps Risk Advisor

Mikroslužby komunikují navzájem prostřednictvím API a interagují s nezávislými databázemi přes datové pipelines. Datové pipelines jsou zvýrazněny.

ETL

Extrakce; Transformace; Načtení

¹ https://www.istockphoto.com/nl/vector/data-extract-transform-load-gm1361894912-434102842?phrase=ETL

Pipeline dávkového zpracování přebírá data z mikroslužby, provádí operace a načítá je do nezávislé databáze.

Více uživatelů se připojuje k backendu současně.

Uživatelská připojení jsou ingestována do backendu přes ingestion API.

Uživatelská připojení jsou směrována do různých mikroslužeb prostřednictvím streamovacího datového pipeline.

Data Engineering je nedílnou součástí Infrastructure Engineering
Datové pipelines jsou robustní nástroje pro práci s daty
Dávkové zpracování probíhá v pravidelných intervalech, proudové zpracování je nepřetržité
Dávkové zpracování je vhodné pro práci s nahromaděnými daty
Proudové zpracování pracuje s daty v reálném čase

Koncepty DevOps