Gestion des métadonnées

Comprendre l'architecture de données moderne

Miller Trujillo

Senior Software Engineer

Qu'est-ce qu'une métadonnée ?

  • Des données sur les données

Exemple de métadonnées avec un livre

Comprendre l'architecture de données moderne

Types de métadonnées

Type de métadonnée Exemple de donnée Exemple pour un catalogue de livres
Métadonnée technique Types, relations, noms de colonnes, sources de données ISBN du livre, nombre de pages
Métadonnée d'affaires Définitions d'affaires, règles, propriétaire des données Titre, auteur, éditeur, genre
Métadonnée opérationnelle Horodatages, statut des tâches ETL, indicateurs de qualité Date d'acquisition, état du livre
Métadonnée d'usage Qui a accédé, quand et comment cela a été utilisé Qui a emprunté le livre, quand et pour combien de temps
Comprendre l'architecture de données moderne

Où stocker vos métadonnées ?

GCP Data Catalog

  • Service géré de métadonnées
  • S'intègre aux services GCP
  • Peut enregistrer des métadonnées externes

AWS Glue Catalog

  • Référentiel central de métadonnées
  • S'intègre aux services AWS
  • Des robots d'exploration cataloguent des données externes

Catalogues de données

  • Azure Data Catalog
  • Apache Atlas
  • CKAN

 

  • Datahub
  • Collibra
  • ...
Comprendre l'architecture de données moderne

Passons à la pratique !

Comprendre l'architecture de données moderne

Preparing Video For Download...