Dataservering

Förstå modern dataarkitektur

Miller Trujillo

Senior Software Engineer

Serveringslager

• Var bearbetad data lagras
• Protokoll för att konsumera den

Vilken data har vi?

• Vilken data har vi?
  • Är datan strukturerad?
  • Är vår data en tidsserie?
• Hur ska datan konsumeras?

• Data Warehouse
  • Automatiserad rapportering/dashboarding
  • BI/dataanalys
  • Direktfrågor
• Blob-lagring
• Tidsseriedatabas
• NoSQL-databas

Hur ska datan konsumeras?

• Data warehouse
  • Automatiserad rapportering/dashboarding
  • BI/dataanalys
  • Direktfrågor
• Maskininlärningsmodeller
• Applikationer
  • Sammanfattad information
  • Enskilda poster
• Ingen universallösning!

Välj datakälla utifrån ditt användningsfall

System	Datatyp	Konsumtionsanvändningsfall	Verktyg
Data warehouse	Strukturerad data, kan hantera semi-strukturerad data	Analytiska frågor, BI/analys, rapportering/dashboards	BigQuery, Redshift, Snowflake
Blob-lagring	Alla typer av data	ML-modeller med video- och bildbearbetning, arkivering	S3, Cloud Storage, Azure Storage
NoSQL-databas	Semi-strukturerad data, tidsserier	API-exponering, hög efterfrågan	BigTable, DataStore, DynamoDB, CosmosDB
RDBMS	Strukturerad data, kan hantera semi-strukturerad data	Konsumtion av enskilda poster, API-exponering, lägre efterfrågan	Postgres, MySQL, Oracle

Servering vs. konsumtion

Nu kör vi en övning!

Förstå modern dataarkitektur