Datapipelines

DevOps-koncept

Cem Sakarya

DevOps Risk Advisor

Datapipelines

Mikrotjänster kommunicerar med varandra via API:er och interagerar med oberoende databaser via datapipelines. Datapipelines är markerade.

DevOps-koncept

ETL

Extrahera; Transformera; Ladda

1 https://www.istockphoto.com/nl/vector/data-extract-transform-load-gm1361894912-434102842?phrase=ETL
DevOps-koncept

Batchbearbetning

Datapipeline för batchbearbetning hämtar data från en mikrotjänst, utför operationer på den och laddar den till en oberoende databas.

  • Flyttar offlinedata i batchar
  • Batchbearbetning: en stor datamängd hanteras åt gången
DevOps-koncept

Flera användare ansluter till backend-systemet samtidigt.

DevOps-koncept

Användaranslutningar tas emot av backend-systemet via ett inmatnings-API.

DevOps-koncept

Användaranslutningar dirigeras till olika mikrotjänster via en strömmande datapipeline.

DevOps-koncept

Sammanfattning

 

  • Data engineering är en central del av infrastrukturhantering
  • Datapipelines är robusta verktyg för datahantering
  • Batchbearbetning körs enligt scheman; strömbearbetning sker kontinuerligt
  • Batchbearbetning lämpar sig för ackumulerade datamängder
  • Strömbearbetning hanterar realtidsdata
DevOps-koncept

Nu kör vi en övning!

DevOps-koncept

Preparing Video For Download...