Metadados e qualidade de dados

Introdução à Qualidade de Dados

Chrissy Bloom

Head of Enterprise Data Strategy & Governance

O que são metadados?

Metadados: dados sobre dados ou atributos que descrevem dados

Usados para organizar e entender conjuntos de dados e elementos de dados
Usados no processo de qualidade de dados para determinar:
- a definição de um campo
- o proprietário de um campo
- a data da última atualização do campo

exemplos de definição de metadados, proprietário dos dados, data de atualização

Exemplos de metadados

Os metadados podem ser encontrados em um dicionário de dados.

Exemplos:

Nome do campo de negócios
Definição do negócio
Proprietário dos dados
Nome técnico do campo físico

exemplo de metadados no catálogo de dados

O que é linhagem de dados?

Linhagem de dados: Uma representação de como os dados se movem em um pipeline, onde eles são inseridos na origem, passam por cada etapa do pipeline, até que sejam consumidos.

exemplo de linhagem de dados

Cada camada tem seus próprios metadados
Usada no processo de qualidade de dados para determinar onde implementar uma regra

Exemplo de linhagem de dados

exemplo detalhado de linhagem de dados

Exemplo de metadados e linhagem de dados

exemplo de linhagem de dados

Metadados e linhagem de dados: exemplo de prática desaconselhada

exemplo de linhagem de dados

Exemplo de prática recomendada de metadados e linhagem de dados

exemplo de linhagem de dados

Vamos praticar!

Introdução à Qualidade de Dados