Metadatahantering

Förstå modern dataarkitektur

Miller Trujillo

Senior Software Engineer

Vad är metadata?

  • Data om data

Exempel på metadata med en bok

Förstå modern dataarkitektur

Metadatatyper

Typ av metadata Dataexempel Bokkatalogsexempel
Teknisk metadata Datatyper, relationer, kolumnnamn, datakällor Bokens ISBN, antal sidor
Affärsmetadata Affärsdefinitioner, regler, dataägare Bokens titel, författare, förlag, genre
Operationell metadata Tidsstämplar, ETL-jobbstatus, datakvalitetsmått Datum för bokanskaffning, bokens skick
Användningsmetadata Vem som använde data, när och hur Vem som lånade boken, när och hur länge
Förstå modern dataarkitektur

Var lagrar du din metadata?

GCP Data Catalog

  • Hanterad metadatatjänst
  • Integreras med GCP-tjänster
  • Kan registrera extern metadata

AWS Glue Catalog

  • Centralt metadatalager
  • Integreras med AWS-tjänster
  • Crawlers kan katalogisera extern data

Datakataloger

  • Azure Data Catalog
  • Apache Atlas
  • CKAN

 

  • Datahub
  • Collibra
  • ...
Förstå modern dataarkitektur

Nu kör vi en övning!

Förstå modern dataarkitektur

Preparing Video For Download...