Poskytování dat

Porozumění moderní datové architektuře

Miller Trujillo

Senior Software Engineer

Vrstva poskytování

• Kde ukládat zpracovaná data
• Protokoly pro jejich konzumaci

Jaká data máme?

• Jaká data máme?
  • Jsou data strukturovaná?
  • Jsou naše data časovou řadou?
• Jak budou data konzumována?

• Datový sklad
  • Automatizovaný reporting/dashboarding
  • BI/datová analytika
  • Přímé dotazy
• Blob storage
• Databáze časových řad
• NoSQL databáze

Jak budou data konzumována?

• Datový sklad
  • Automatizovaný reporting/dashboarding
  • BI/datová analytika
  • Přímé dotazy
• Modely strojového učení
• Aplikace
  • Souhrnné informace
  • Jednotlivé záznamy
• Neexistuje univerzální řešení!

Poskytování dat podle případu použití

Systém	Typ dat	Případ použití	Nástroje
Datový sklad	Strukturovaná data, zvládá i polostrukturovaná	Analytické dotazy, BI/analytika, reporting/dashboardy	BigQuery, Redshift, Snowflake
Blob storage	Všechny typy dat	ML modely s video/obrazovým zpracováním, archivace	S3, Cloud Storage, Azure Storage
NoSQL databáze	Polostrukturovaná data, časové řady	Vystavení API, vysoká zátěž	BigTable, DataStore, DynamoDB, CosmosDB
RDBMS	Strukturovaná data, zvládá i polostrukturovaná	Konzumace jednotlivých záznamů, vystavení API, nižší zátěž	Postgres, MySQL, Oracle

Poskytování vs. konzumace

Pojďme si procvičit!

Porozumění moderní datové architektuře