Gestionarea metadatelor

Înțelegerea arhitecturii moderne a datelor

Miller Trujillo

Senior Software Engineer

Ce sunt metadatele?

  • Date despre date

Exemplu de metadate folosind o carte

Înțelegerea arhitecturii moderne a datelor

Tipuri de metadate

Tip de metadate Exemplu de date Exemplu catalog de carte
Metadate tehnice Tipuri de date, relații, nume coloane, surse de date ISBN, număr de pagini
Metadate de business Definiții, reguli, proprietar de date Titlu, autor, editor, gen
Metadate operaționale Marcaje temporale, stare ETL, metrici de calitate Data achiziției, starea cărții
Metadate de utilizare Cine a accesat datele, când și cum Cine a împrumutat cartea, când și pentru cât timp
Înțelegerea arhitecturii moderne a datelor

Unde se stochează metadatele?

GCP Data Catalog

  • Serviciu gestionat de metadate
  • Se integrează cu serviciile GCP
  • Poate înregistra metadate externe

AWS Glue Catalog

  • Depozit central de metadate
  • Se integrează cu serviciile AWS
  • Crawlerele pot cataloga date externe

Cataloage de date

  • Azure Data Catalog
  • Apache Atlas
  • CKAN

 

  • Datahub
  • Collibra
  • ...
Înțelegerea arhitecturii moderne a datelor

Să exersăm!

Înțelegerea arhitecturii moderne a datelor

Preparing Video For Download...