Data serving

Moderne data-architectuur begrijpen

Miller Trujillo

Senior Software Engineer

Serving-laag

• Waar verwerk­te data opslaan
• Protocols om te consumeren

Welke data hebben we?

• Welke data hebben we?
  • Is data gestructureerd?
  • Is onze data een tijdreeks?
• Hoe wordt data geconsumeerd?

• Datawarehouse
  • Geautomatiseerde rapportage/dashboards
  • BI/data-analyse
  • Directe queries
• Blobopslag
• Tijdreeksdatabase
• NoSQL-database

Hoe wordt data geconsumeerd?

• Datawarehouse
  • Geautomatiseerde rapportage/dashboards
  • BI/data-analyse
  • Directe queries
• Machinelearning­modellen
• Applicaties
  • Samengevatte info
  • Individuele records
• Geen one-size-fits-all!

Data serveren per usecase

Systeem	Soort data	Consumptie-usecase	Tools
Datawarehouse	Gestructureerd, kan semi-gestructureerd aan	Analytische queries, BI/analyse, rapportage/dashboards	BigQuery, Redshift, Snowflake
Blobopslag	Alle soorten data	ML-modellen met video/beeldverwerking, archivering	S3, Cloud Storage, Azure Storage
NoSQL-database	Semi-gestructureerd, tijdreeksen	API-exposure, hoge vraag	BigTable, DataStore, DynamoDB, CosmosDB
RDBMS	Gestructureerd, kan semi-gestructureerd aan	Consumptie per record, API-exposure, lagere vraag	Postgres, MySQL, Oracle

Serveren vs. consumeren

Laten we oefenen!

Moderne data-architectuur begrijpen