Pipeline-uri de date

Concepte DevOps

Cem Sakarya

DevOps Risk Advisor

Pipeline-uri de date

Microserviciile comunică între ele prin API-uri și interacționează cu baze de date independente prin pipeline-uri de date. Pipeline-urile de date sunt evidențiate.

ETL

Extragere; Transformare; Încărcare

¹ https://www.istockphoto.com/nl/vector/data-extract-transform-load-gm1361894912-434102842?phrase=ETL

Procesare pe loturi

Pipeline de procesare pe loturi care preia date dintr-un microserviciu, le procesează și le încarcă într-o bază de date independentă.

Transferul datelor offline în loturi
Procesare pe loturi: un volum mare de date

Mai mulți utilizatori se conectează simultan la backend.

Conexiunile utilizatorilor sunt preluate în backend prin API-ul de ingestie.

Conexiunile utilizatorilor sunt direcționate către diferite microservicii printr-un pipeline de date în flux.

Recapitulare

Ingineria datelor este parte integrantă a Ingineriei de Infrastructură
Pipeline-urile de date sunt instrumente robuste pentru gestionarea datelor
Procesarea pe loturi funcționează periodic, procesarea în flux funcționează continuu
Procesarea pe loturi este utilă pentru datele acumulate
Procesarea în flux gestionează datele în timp real

Să exersăm!

Concepte DevOps