Gestion des métadonnées

Comprendre les architectures de données modernes

Miller Trujillo

Senior Software Engineer

Qu’est-ce qu’une métadonnée ?

  • Des données sur les données

Exemple de métadonnées avec un livre

Comprendre les architectures de données modernes

Types de métadonnées

Type de métadonnée Exemple de données Exemple pour un catalogue de livres
Métadonnées techniques Types, relations, noms de colonnes, sources de données ISBN du livre, nombre de pages
Métadonnées métier Définitions métier, règles, propriétaire des données Titre du livre, auteur, éditeur, genre
Métadonnées opérationnelles Horodatages, statut des jobs ETL, métriques qualité Date d’acquisition, état du livre
Métadonnées d’usage Qui a accédé aux données, quand et comment Qui a emprunté le livre, quand et pour combien de temps
Comprendre les architectures de données modernes

Où stocker vos métadonnées ?

GCP Data Catalog

  • Service géré de métadonnées
  • S’intègre aux services GCP
  • Peut enregistrer des métadonnées externes

AWS Glue Catalog

  • Référentiel central de métadonnées
  • S’intègre aux services AWS
  • Les crawlers peuvent cataloguer des données externes

Catalogues de données

  • Azure Data Catalog
  • Apache Atlas
  • CKAN

 

  • DataHub
  • Collibra
  • ...
Comprendre les architectures de données modernes

Passons à la pratique !

Comprendre les architectures de données modernes

Preparing Video For Download...