Diffusion des données

Comprendre les architectures de données modernes

Miller Trujillo

Senior Software Engineer

Couche de diffusion

• Où stocker les données traitées
• Protocoles pour les consommer

Quelles données avons-nous ?

• Quelles données avons-nous ?
  • Données structurées ?
  • Série temporelle ?
• Comment seront-elles consommées ?

• Data Warehouse
  • Reporting/Dashboards automatisés
  • BI/Analytics
  • Requêtes directes
• Stockage objet (blob)
• Base de données de séries temporelles
• Base NoSQL

Comment les données seront-elles consommées ?

• Data warehouse
  • Reporting/Dashboards automatisés
  • BI/Data analytics
  • Requêtes directes
• Modèles de Machine Learning
• Applications
  • Informations synthétiques
  • Enregistrements individuels
• Pas de solution unique !

Diffuser vos données selon l’usage

Système	Type de données	Cas d’usage de consommation	Outils
Data warehouse	Données structurées, gère le semi-structuré	Requêtes analytiques, BI/Analytics, reporting/dashboards	BigQuery, Redshift, Snowflake
Stockage objet	Tous types de données	Modèles ML avec vidéo/image, archivage	S3, Cloud Storage, Azure Storage
Base NoSQL	Données semi-structurées, séries temporelles	Exposition via API, forte charge	BigTable, DataStore, DynamoDB, CosmosDB
SGBDR	Données structurées, gère le semi-structuré	Consommation d’enregistrements, exposition API, charge modérée	Postgres, MySQL, Oracle

Diffuser vs. Consommer

Passons à la pratique !

Comprendre les architectures de données modernes