Metadatenverwaltung

Moderne Datenarchitekturen verstehen

Miller Trujillo

Senior Software Engineer

Was sind Metadaten?

  • Daten über Daten

Beispiel für Metadaten anhand eines Buchs

Moderne Datenarchitekturen verstehen

Arten von Metadaten

Metadatentyp Datenbeispiel Beispiel aus dem Buchkatalog
Technische Metadaten Datentypen, Beziehungen, Spaltennamen, Datenquellen ISBN des Buchs, Seitenzahl
Fachliche Metadaten Fachliche Definitionen, Regeln, Datenverantwortliche Titel, Autor, Verlag, Genre
Operative Metadaten Zeitstempel, ETL-Jobstatus, Datenqualitätsmetriken Erwerbsdatum, Zustand des Buchs
Nutzungsmetadaten Wer hat wann zugegriffen und wie genutzt Wer hat es ausgeliehen, wann und wie lange
Moderne Datenarchitekturen verstehen

Wo Metadaten speichern?

GCP Data Catalog

  • Verwalteter Metadatenservice
  • Integriert sich mit GCP-Services
  • Kann externe Metadaten registrieren

AWS Glue Catalog

  • Zentrales Metadaten-Repository
  • Integriert sich mit AWS-Services
  • Crawler können externe Daten katalogisieren

Datenkataloge

  • Azure Data Catalog
  • Apache Atlas
  • CKAN

 

  • Datahub
  • Collibra
  • ...
Moderne Datenarchitekturen verstehen

Lass uns üben!

Moderne Datenarchitekturen verstehen

Preparing Video For Download...