Pozyskiwanie danych

Nowoczesna architektura danych

Miller Trujillo

Senior Software Engineer

Czym jest pozyskiwanie danych?

• Wymagania funkcjonalne
• Funkcjonalne mogą być kształtowane przez analitykę

Pozyskiwanie wsadowe

• Zaplanowane cykliczne pozyskiwanie danych
• Kopia na platformie do analityki
• Odczyt wszystkich danych vs. tylko nowych
• Duże zbiory wymagają częściowego odczytu
• Mniejsze zbiory można nadpisywać

Pozyskiwanie wsadowe: tylko zmiany

• Nieograniczone zasoby są niemożliwe
• Pozyskuj tylko zmiany
• Znacznik czasu aktualizacji lub flaga
• Aktualny stan danych
• Usunięcia wymagają flagi lub konsolidacji

Pozyskiwanie strumieniowe

• Model push
• Kolejki zdarzeń
• Obliczenia 24/7
• Strefa lądowania

Czas na ćwiczenia!

Nowoczesna architektura danych