Gerenciamento de metadados

Entendendo a Arquitetura de Dados Moderna

Miller Trujillo

Senior Software Engineer

O que são metadados?

  • Dados sobre dados

Exemplo de metadados usando um livro

Entendendo a Arquitetura de Dados Moderna

Tipos de metadados

Tipo de metadado Exemplo de dado Exemplo em catálogo de livros
Metadado técnico Tipos, relacionamentos, nomes de colunas, fontes ISBN do livro, número de páginas
Metadado de negócio Definições, regras, dono dos dados Título, autor, editora, gênero
Metadado operacional Timestamps, status de ETL, métricas de qualidade Data de aquisição, estado do livro
Metadado de uso Quem acessou, quando e como foi usado Quem pegou emprestado, quando e por quanto tempo
Entendendo a Arquitetura de Dados Moderna

Onde armazenar seus metadados?

GCP Data Catalog

  • Serviço gerenciado de metadados
  • Integra com serviços GCP
  • Pode registrar metadados externos

AWS Glue Catalog

  • Repositório central de metadados
  • Integra com serviços AWS
  • Crawlers catalogam dados externos

Catálogos de dados

  • Azure Data Catalog
  • Apache Atlas
  • CKAN

 

  • Datahub
  • Collibra
  • ...
Entendendo a Arquitetura de Dados Moderna

Vamos praticar!

Entendendo a Arquitetura de Dados Moderna

Preparing Video For Download...