Erogazione dei dati

Comprendere la data architecture moderna

Miller Trujillo

Senior Software Engineer

Serving layer

• Dove archiviare i dati processati
• Protocolli per consumarli

Che dati abbiamo?

• Che dati abbiamo?
  • I dati sono strutturati?
  • Sono serie temporali?
• Come verranno consumati i dati?

• Data warehouse
  • Reportistica/Dashboarding automatizzati
  • BI/Data analytics
  • Query dirette
• Blob storage
• Database per serie temporali
• Database NoSQL

Come verranno consumati i dati?

• Data warehouse
  • Reportistica/Dashboarding automatizzati
  • BI/Data analytics
  • Query dirette
• Modelli di machine learning
• Applicazioni
  • Informazioni sintetiche
  • Record individuali
• Non esiste una soluzione unica!

Eroga i dati in base al caso d’uso

Sistema	Tipo di dati	Caso d’uso di consumo	Strumenti
Data warehouse	Dati strutturati, può gestire semi-strutturati	Query analitiche, BI/Analytics, report/dashboard	BigQuery, Redshift, Snowflake
Blob storage	Tutti i tipi di dati	Modelli ML con video/immagini, archiviazione	S3, Cloud Storage, Azure Storage
Database NoSQL	Dati semi-strutturati, serie temporali	Esposizione via API, alta domanda	BigTable, DataStore, DynamoDB, CosmosDB
RDBMS	Dati strutturati, può gestire semi-strutturati	Consumo di record individuali, esposizione API, domanda inferiore	Postgres, MySQL, Oracle

Erogazione vs. consumo

Passiamo alla pratica !

Comprendere la data architecture moderna