Datapijplijnen

DevOps-concepten

Cem Sakarya

DevOps Risk Advisor

Datapijplijnen

Microservices communiceren via API's en werken met aparte databases via datapijplijnen. Datapijplijnen zijn gemarkeerd.

DevOps-concepten

ETL

Extract; Transform; Load

1 https://www.istockphoto.com/nl/vector/data-extract-transform-load-gm1361894912-434102842?phrase=ETL
DevOps-concepten

Batchverwerking

Batchverwerking: datapijplijn haalt data uit een microservice, bewerkt die en laadt naar een aparte database.

  • Verplaats offline data in batches
  • Batchverwerking: een grote hoeveelheid data
DevOps-concepten

Meerdere gebruikers maken tegelijk verbinding met de backend.

DevOps-concepten

Gebruikersverbindingen worden in de backend opgenomen door de ingestion-API.

DevOps-concepten

Gebruikersverbindingen worden via een streaming-datapijplijn naar verschillende microservices gerouteerd.

DevOps-concepten

Samenvatting

 

  • Data Engineering is een kernonderdeel van Infrastructure Engineering
  • Datapijplijnen zijn robuuste tools voor dataverwerking
  • Batchverwerking is periodiek; streamverwerking is continu
  • Batchverwerking is handig voor opgehoopte data
  • Streamverwerking verwerkt realtime data
DevOps-concepten

Laten we oefenen!

DevOps-concepten

Preparing Video For Download...