Zarządzanie metadanymi

Nowoczesna architektura danych

Miller Trujillo

Senior Software Engineer

Czym są metadane?

  • Dane o danych

Przykład metadanych na podstawie książki

Nowoczesna architektura danych

Typy metadanych

Typ metadanych Przykład danych Przykład katalogu książek
Metadane techniczne Typy danych, relacje, nazwy kolumn, źródła danych ISBN, liczba stron
Metadane biznesowe Definicje biznesowe, reguły, właściciel danych Tytuł, autor, wydawca, gatunek
Metadane operacyjne Znaczniki czasu, status zadań ETL, metryki jakości danych Data nabycia książki, jej stan
Metadane użycia Kto uzyskał dostęp do danych, kiedy i w jaki sposób Kto wypożyczył książkę, kiedy i na jak długo
Nowoczesna architektura danych

Gdzie przechowywać metadane?

GCP Data Catalog

  • Zarządzana usługa metadanych
  • Integracja z usługami GCP
  • Możliwość rejestrowania zewnętrznych metadanych

AWS Glue Catalog

  • Centralne repozytorium metadanych
  • Integracja z usługami AWS
  • Crawlery mogą katalogować zewnętrzne dane

Katalogi danych

  • Azure Data Catalog
  • Apache Atlas
  • CKAN

 

  • Datahub
  • Collibra
  • ...
Nowoczesna architektura danych

Czas na ćwiczenia!

Nowoczesna architektura danych

Preparing Video For Download...