Ocena nowoczesnych rozwiązań architektury danych

Nowoczesna architektura danych

Miller Trujillo

Senior Software Engineer

Pozyskiwanie danych

Proponowane rozwiązanie z wyróżnioną warstwą pozyskiwania

  • Nieprzewidywalne wzorce
  • A gdyby pobierać dane?
    • Udostępnienie plików
    • Sieciowy system plików
Nowoczesna architektura danych

Przechowywanie danych

Proponowane rozwiązanie z wyróżnioną warstwą przechowywania

  • Przechowywanie w chmurze jest:

    • tańsze niż hurtownia danych lub bazy danych
    • elastyczne i udostępnia wymagane API

  • Czy BigQuery nadal jest opcją?

    • Wystarczająco tanie
    • Nieopłacalne ze względu na ograniczenia ładowania

  • Zasady cyklu życia pozwalają jeszcze bardziej obniżyć koszty

Nowoczesna architektura danych

Przetwarzanie

Proponowane rozwiązanie z wyróżnionym przetwarzaniem strumieniowym

  • Dataflow, Dataproc (Spark) lub Data Fusion
  • Nieprzewidywalne wzorce napływu danych
  • Przetwarzanie danych w momencie nadejścia
  • Prostota
  • Dane czasowe
  • Automatyczne czyszczenie za pomocą zasad cyklu życia
  • Brak konieczności zarządzania schematem
Nowoczesna architektura danych

Przetwarzanie: wyniki modelu

Proponowane rozwiązanie z wyróżnionym przetwarzaniem wsadowym

  • Trudne śledzenie wszystkich elementów
  • Łatwiejsze w utrzymaniu
  • Poprzednie zadanie może zapisywać do NoSQL DB, a to je uzupełnia
Nowoczesna architektura danych

Serwowanie danych

Proponowane rozwiązanie z wyróżnioną warstwą serwowania

  • BigQuery do celów analitycznych
  • NoSQL DB => lepsza skalowalność i elastyczność
Nowoczesna architektura danych

Dodatkowe aspekty

  • Governance, orkiestracja, bezpieczeństwo i inne
  • Dalsze udoskonalanie platformy i wymagań
  • Lepsze zarządzanie
  • Brak uniwersalnego rozwiązania!

Wszystko jest kwestią kompromisów

Nowoczesna architektura danych

Czas na ćwiczenia!

Nowoczesna architektura danych

Preparing Video For Download...