Hodnocení řešení moderní datové architektury

Porozumění moderní datové architektuře

Miller Trujillo

Senior Software Engineer

Ingestion

Navrhované řešení se zvýrazněnou ingestí

  • Nepředvídatelné vzory
  • Co kdybychom data stahovali?
    • Zpřístupnění souborů
    • Síťový souborový systém
Porozumění moderní datové architektuře

Úložiště

Navrhované řešení se zvýrazněným úložištěm

  • Cloudové úložiště je:

    • levnější než datový sklad nebo databáze
    • Flexibilní a zpřístupňuje potřebná API

  • Je BigQuery stále možností?

    • Dostatečně levný
    • Nevhodný kvůli omezením při načítání

  • Zásady životního cyklu pro další snížení nákladů

Porozumění moderní datové architektuře

Zpracování

Navrhované řešení se zvýrazněným streamovým zpracováním

  • Dataflow, Dataproc (Spark) nebo Data Fusion
  • Nepředvídatelné vzory příchozích dat
  • Zpracování dat ihned po příchodu
  • Jednoduchost
  • Časová data
  • Automatizované čištění pomocí zásad životního cyklu
  • Není potřeba udržovat schéma
Porozumění moderní datové architektuře

Zpracování: Skóre modelu

Navrhované řešení se zvýrazněným dávkovým zpracováním

  • Složité sledování všeho
  • Snazší údržba
  • Předchozí úloha může zapisovat do NoSQL DB a tato úloha data doplňuje
Porozumění moderní datové architektuře

Poskytování dat

Navrhované řešení se zvýrazněnou vrstvou serving

  • BigQuery pro analytické účely
  • NoSQL DB => Snadnější škálovatelnost a flexibilita
Porozumění moderní datové architektuře

Další podrobnosti

  • Governance, orchestrace, zabezpečení a další
  • Další upřesnění platformy a požadavků
  • Lepší správa
  • Neexistuje univerzální řešení!

Vše je otázkou kompromisů

Porozumění moderní datové architektuře

Pojďme cvičit!

Porozumění moderní datové architektuře

Preparing Video For Download...