Diffusion des données

Comprendre l'architecture de données moderne

Miller Trujillo

Senior Software Engineer

Couche de diffusion

• Où stocker les données traitées
• Protocoles pour les consommer

Quelles données avons-nous ?

• Quelles données avons-nous ?
  • Les données sont-elles structurées ?
  • Nos données sont-elles des séries chronologiques ?
• Comment les données seront-elles consommées ?

• Entrepôt de données
  • Rapports/tableaux de bord automatisés
  • BI/Analyse de données
  • Requêtes directes
• Stockage d'objets
• Base de données de séries chronologiques
• Base de données NoSQL

Comment les données seront-elles consommées ?

• Entrepôt de données
  • Rapports/tableaux de bord automatisés
  • BI/Analyse de données
  • Requêtes directes
• Modèles de Machine Learning
• Applications
  • Information synthèse
  • Dossiers individuels
• Pas de solution unique !

Diffuser vos données selon le cas d'utilisation

Système	Type de données	Cas d'utilisation de consommation	Outils
Entrepôt de données	Données structurées, peut gérer du semi-structuré	Requêtes analytiques, BI/analytique, rapports/tableaux de bord	BigQuery, Redshift, Snowflake
Stockage d'objets	Tous types de données	Modèles de ML avec traitement vidéo/image, archivage	S3, Cloud Storage, Azure Storage
Base de données NoSQL	Données semi-structurées, séries chronologiques	Exposition par API, forte demande	BigTable, DataStore, DynamoDB, CosmosDB
SGBDR	Données structurées, peut gérer du semi-structuré	Consommation d'enregistrements individuels, exposition par API, demande moindre	Postgres, MySQL, Oracle

Diffusion vs consommation

Passons à la pratique !

Comprendre l'architecture de données moderne