Utvärdering av moderna dataarkitekturlösningar

Förstå modern dataarkitektur

Miller Trujillo

Senior Software Engineer

Inmatning

Föreslagen lösning med inmatning markerad

  • Oförutsägbara mönster
  • Vad händer om vi hämtar datan?
    • Exponera filerna
    • Nätverksfilsystem
Förstå modern dataarkitektur

Lagring

Föreslagen lösning med lagring markerad

  • Molnlagring är:

    • billigare än datalager eller databaser
    • Flexibelt och exponerar nödvändiga API:er

  • BigQuery fortfarande ett alternativ?

    • Tillräckligt billigt
    • Inte genomförbart på grund av begränsningar vid inläsning

  • Livscykelregler för att minska kostnaderna ytterligare

Förstå modern dataarkitektur

Bearbetning

Föreslagen lösning med strömningsbearbetning markerad

  • Dataflow, Dataproc (Spark) eller Data Fusion
  • Oförutsägbara ankomstmönster
  • Bearbeta data direkt när den anländer
  • Enkelhet
  • Tidsbaserad data
  • Automatisera rensning med livscykelregler
  • Inget schemaunderhåll krävs
Förstå modern dataarkitektur

Bearbetning: Modellpoängen

Föreslagen lösning med batchbearbetning markerad

  • Komplext att hålla reda på allt
  • Enklare att underhålla
  • Tidigare jobb kan skriva till NoSQL-databas och detta jobb kompletterar datan
Förstå modern dataarkitektur

Servering av data

Föreslagen lösning med batchbearbetning markerad

  • BigQuery för analytiska ändamål
  • NoSQL-databas => Enklare skalbarhet och flexibilitet
Förstå modern dataarkitektur

Några övriga detaljer

  • Styrning, orkestrering, säkerhet med mera
  • Förfina plattformen och kraven ytterligare
  • Möjliggör bättre hantering
  • Ingen universallösning finns!

Allt handlar om avvägningar

Förstå modern dataarkitektur

Nu kör vi en övning!

Förstå modern dataarkitektur

Preparing Video For Download...