Metadata beheren

Inzicht in moderne data-architectuur

Miller Trujillo

Senior Software Engineer

Wat is metadata?

  • Data over data

Voorbeeld van metadata met een boek

Inzicht in moderne data-architectuur

Soorten metadata

Type metadata Data-voorbeeld Voorbeeld uit boeken-catalogus
Technische metadata Datatypen, relaties, kolomnamen, databronnen ISBN van het boek, aantal pagina's
Businessmetadata Bedrijfsdefinities, regels, data-eigenaar Titel van het boek, auteur, uitgever, genre
Operationele metadata Timestamps, ETL-jobstatus, datakwaliteitsmetingen Aankoopdatum boek, staat van het boek
Gebruiksmetadata Wie de data benaderde, wanneer en hoe gebruikt Wie het boek leende, wanneer en hoe lang
Inzicht in moderne data-architectuur

Waar sla je je metadata op?

GCP Data Catalog

  • Beheerde metadataservice
  • Integreert met GCP-services
  • Kan externe metadata registreren

AWS Glue Catalog

  • Centrale metadataopslag
  • Integreert met AWS-services
  • Crawlers kunnen externe data catalogiseren

Datacatalogi

  • Azure Data Catalog
  • Apache Atlas
  • CKAN

 

  • Datahub
  • Collibra
  • …
Inzicht in moderne data-architectuur

Laten we oefenen!

Inzicht in moderne data-architectuur

Preparing Video For Download...