Metadatabeheer

Moderne data-architectuur begrijpen

Miller Trujillo

Senior Software Engineer

Wat is metadata?

  • Data over data

Voorbeeld van metadata met een boek

Moderne data-architectuur begrijpen

Soorten metadata

Type metadata Datavoorbeeld Voorbeeld uit boekcatalogus
Technische metadata Datatypen, relaties, kolomnamen, databronnen ISBN van het boek, aantal pagina’s
Businessmetadata Bedrijfsdefinities, regels, data-eigenaar Titel, auteur, uitgever, genre
Operationele metadata Timestamps, ETL-jobstatus, datakwaliteitsmetrics Datum van aanschaf, staat van het boek
Gebruiksmetadata Wie had toegang, wanneer en hoe het is gebruikt Wie leende het boek, wanneer en hoe lang
Moderne data-architectuur begrijpen

Waar sla je metadata op?

GCP Data Catalog

  • Beheerde metadataservice
  • Integreert met GCP-services
  • Kan externe metadata registreren

AWS Glue Catalog

  • Centraal metadatabestand
  • Integreert met AWS-services
  • Crawlers kunnen externe data catalogiseren

Datacatalogi

  • Azure Data Catalog
  • Apache Atlas
  • CKAN

 

  • Datahub
  • Collibra
  • ...
Moderne data-architectuur begrijpen

Laten we oefenen!

Moderne data-architectuur begrijpen

Preparing Video For Download...