Moderne data-architecturen beoordelen

Moderne data-architectuur begrijpen

Miller Trujillo

Senior Software Engineer

Ingestie

Voorgestelde oplossing met ingestie gemarkeerd

  • Onvoorspelbare patronen
  • Wat als we data pullen?
    • Bestanden exposen
    • Network file system
Moderne data-architectuur begrijpen

Opslag

Voorgestelde oplossing met storage gemarkeerd

  • Cloudopslag is:

    • goedkoper dan datawarehouse of databases
    • flexibel en biedt de nodige API's

  • BigQuery nog steeds een optie?

    • Goedkoop genoeg
    • Niet haalbaar door laadbeperkingen

  • Lifecycle-beleid om kosten verder te verlagen

Moderne data-architectuur begrijpen

Processing

Voorgestelde oplossing met streamingverwerking gemarkeerd

  • Dataflow, Dataproc (Spark) of Data Fusion
  • Onvoorspelbare aankomstpatronen
  • Verwerk data zodra het binnenkomt
  • Simpel
  • Tijdelijke data
  • Opschonen automatiseren met lifecycle-beleid
  • Geen schema-onderhoud nodig
Moderne data-architectuur begrijpen

Processing: model scoring

Voorgestelde oplossing met batchverwerking gemarkeerd

  • Complex om alles te volgen
  • Makkelijker te beheren
  • Vorige job kan naar NoSQL-DB schrijven; deze job vult aan
Moderne data-architectuur begrijpen

Data ontsluiten

Voorgestelde oplossing met batchverwerking gemarkeerd

  • BigQuery voor analytics
  • NoSQL-DB => makkelijker schalen & flexibeler
Moderne data-architectuur begrijpen

Nog wat details

  • Governance, orkestratie, security, enz.
  • Platform en eisen verder aanscherpen
  • Beter beheer mogelijk maken
  • Geen one-size-fits-all!

Alles draait om trade-offs

Moderne data-architectuur begrijpen

Laten we oefenen!

Moderne data-architectuur begrijpen

Preparing Video For Download...