Przetwarzanie danych

Nowoczesna architektura danych

Miller Trujillo

Senior Software Engineer

Czym jest przetwarzanie danych?

• Eksploracja
• Jakość danych: kontrole i transformacje
• Analiza
• Agregacje
• Transformacje

Przetwarzanie wsadowe

• Batch i streaming
• Stała ilość danych

Przetwarzanie strumieniowe

Okno stałoczasowe

Przesuwne okno czasowe

¹ https://beam.apache.org/documentation/programming-guide/#windowing

Koncepcje przetwarzania strumieniowego

• Czas wygenerowania danych
• Czas dotarcia danych
• Znaki wodne (watermarks)
• Spóźnione dane
• Wyzwalanie nowego przetwarzania

Technologie przetwarzania

Przypadek użycia	Rozwiązanie	Rozwiązanie chmurowe
Batch/streaming, big data, klaster	Apache Spark, Flink, Beam	AWS EMR, AWS Glue, Google Dataproc, Google Dataflow
Batch/streaming, big data, bezserwerowe (serwery w pełni zarządzane przez dostawcę)	Apache Spark, Beam	AWS Glue, Google Dataflow
Pojedyncze zdarzenia, proste przetwarzanie, wsparcie 24/7 bez uruchomionych serwerów	Ogólne języki programowania: Python, Javascript, C#, Java, Go	AWS Lambda, Google Cloud Functions

Czas na ćwiczenia!

Nowoczesna architektura danych