Správa metadat

Porozumění moderní datové architektuře

Miller Trujillo

Senior Software Engineer

Co jsou metadata?

  • Data o datech

Příklad metadat na základě knihy

Porozumění moderní datové architektuře

Typy metadat

Typ metadat Příklad dat Příklad knihovního katalogu
Technická metadata Datové typy, vztahy, názvy sloupců, zdroje dat ISBN knihy, počet stran
Obchodní metadata Obchodní definice, pravidla, vlastník dat Název, autor, vydavatel, žánr
Provozní metadata Časová razítka, stav ETL úloh, metriky kvality dat Datum akvizice knihy, stav knihy
Metadata o využití Kdo, kdy a jak k datům přistupoval Kdo, kdy a na jak dlouho si knihu půjčil
Porozumění moderní datové architektuře

Kde uchovávat metadata?

GCP Data Catalog

  • Spravovaná služba metadat
  • Integrace se službami GCP
  • Možnost registrace externích metadat

AWS Glue Catalog

  • Centrální úložiště metadat
  • Integrace se službami AWS
  • Crawlery dokáží katalogizovat externí data

Datové katalogy

  • Azure Data Catalog
  • Apache Atlas
  • CKAN

 

  • Datahub
  • Collibra
  • ...
Porozumění moderní datové architektuře

Pojďme procvičovat!

Porozumění moderní datové architektuře

Preparing Video For Download...