Potoki danych

Koncepcje DevOps

Cem Sakarya

DevOps Risk Advisor

Potoki danych

Mikroserwisy komunikują się ze sobą przez API. Współpracują też z niezależnymi bazami danych za pośrednictwem potoków danych. Potoki danych są wyróżnione.

ETL

Ekstrakcja; Transformacja; Ładowanie

¹ https://www.istockphoto.com/nl/vector/data-extract-transform-load-gm1361894912-434102842?phrase=ETL

Przetwarzanie wsadowe

Wsadowy potok danych pobierający dane z mikroserwisu, wykonujący na nich operacje i ładujący je do niezależnej bazy danych.

Przenoszenie danych offline w partiach
Przetwarzanie wsadowe: duża ilość danych

Wielu użytkowników łączy się z backendem jednocześnie.

Połączenia użytkowników są pozyskiwane do backendu przez API pozyskiwania.

Połączenia użytkowników są kierowane do różnych mikroserwisów za pośrednictwem potoku danych strumieniowych.

Podsumowanie

Inżynieria danych jest integralną częścią inżynierii infrastruktury
Potoki danych to niezawodne narzędzia do obsługi danych
Przetwarzanie wsadowe działa według harmonogramów, strumieniowe — w sposób ciągły
Przetwarzanie wsadowe przydaje się do obsługi zgromadzonych danych
Przetwarzanie strumieniowe obsługuje dane w czasie rzeczywistym

Czas na ćwiczenia!

Koncepcje DevOps