Przykłady nowoczesnej architektury danych

Nowoczesna architektura danych

Miller Trujillo

Senior Software Engineer

Architektura Lambda

• Architektura przetwarzania danych
• Umożliwia przetwarzanie danych wielkiej skali
• Umożliwia przetwarzanie danych w czasie rzeczywistym
• Łączy przetwarzanie wsadowe i strumieniowe
• 3 główne warstwy:
  • Warstwa wsadowa
  • Warstwa szybkości
  • Warstwa obsługi

Warstwy architektury Lambda: wsadowa

• Główny zbiór danych
  • Dane niezmienne
  • Tylko dołączanie
• Wstępnie obliczone widoki
• Konta bankowe
  • Główny zbiór: lista transakcji
  • Widoki: transakcje zastosowane do uzyskania salda
• Pełna dokładność

Warstwy architektury Lambda: szybkości

• Zadania wsadowe według harmonogramu
• Luka między danymi a rzeczywistością
• Warstwa szybkości wypełnia tę lukę
• Niepełna dokładność

Warstwy architektury Lambda: obsługi

• Scalanie widoków wsadowych i czasu rzeczywistego
• Zunifikowany widok danych

Złożoność architektury Lambda

• Dwie warstwy zwiększają złożoność
• Zduplikowana logika, kod, algorytmy
• Wiele stosów: wsadowy i strumieniowy

Architektura Kappa

Lambda a Kappa

Aspekt	Architektura Lambda	Architektura Kappa
Przetwarzanie wsadowe	Obecne	Przez ponowne przetwarzanie źródła zdarzeń
Przetwarzanie strumieniowe	Obecne	Obecne
Złożoność	Wyższa	Niższa
Przetwarzanie w czasie rzeczywistym	Opóźnione przez warstwę wsadową	Bezpośrednie i uproszczone
Przypadki użycia	Złożona analiza, dane historyczne	Analityka i monitoring w czasie rzeczywistym

Czas na ćwiczenia!

Nowoczesna architektura danych