Valutare soluzioni moderne di data architecture

Comprendere la data architecture moderna

Miller Trujillo

Senior Software Engineer

Ingestion

Soluzione proposta con ingestion evidenziata

  • Pattern imprevedibili
  • E se facciamo pull dei dati?
    • Esporre i file
    • Network file system
Comprendere la data architecture moderna

Storage

Soluzione proposta con storage evidenziato

  • Cloud storage è:

    • più economico di data warehouse o database
    • Flessibile, ed espone le API richieste

  • BigQuery è ancora un'opzione?

    • Abbastanza economico
    • Non fattibile per limiti nel caricamento

  • Policy di lifecycle per ridurre ulteriormente i costi

Comprendere la data architecture moderna

Processing

Soluzione proposta con streaming processing evidenziato

  • Dataflow, Dataproc (Spark) o anche Data Fusion
  • Arrivi imprevedibili
  • Elabora appena arrivano
  • Semplicità
  • Dati temporali
  • Automatizza la pulizia con policy di lifecycle
  • Nessuna manutenzione dello schema
Comprendere la data architecture moderna

Processing: scoring del modello

Soluzione proposta con batch evidenziato

  • Complesso tracciare tutto
  • Più facile da mantenere
  • Il job precedente scrive su NoSQL e questo integra i dati
Comprendere la data architecture moderna

Serving dei dati

Soluzione proposta con batch evidenziato

  • BigQuery per analisi
  • DB NoSQL => scalabilità e flessibilità più semplici
Comprendere la data architecture moderna

Altri dettagli

  • Governance, orchestrazione, sicurezza, ecc.
  • Raffina piattaforma e requisiti
  • Abilita una gestione migliore
  • Non esiste una soluzione unica per tutti!

Tutto è un compromesso

Comprendere la data architecture moderna

Passiamo alla pratica !

Comprendere la data architecture moderna

Preparing Video For Download...