Regras de qualidade de dados usando dimensões

Introdução à Qualidade de Dados

Chrissy Bloom

Head of Enterprise Data Strategy & Governance

Regras de qualidade de dados

Regra de qualidade de dados: tipo de regra de negócios que valida se os dados atendem aos requisitos de negócios

Pode ser definida no:
- Nível do conjunto de dados
- Nível do elemento de dados

tabela que descreve as regras de qualidade de dados de conjunto de dados e elemento de dados

Regra de qualidade de dados de completude

Regra de qualidade do conjunto de dados: Todos os registros esperados da origem devem ser carregados na tabela de destino.

tabela que descreve a regra de qualidade de dados de completude

Regra de qualidade de elementos de dados: Todos os registros precisam ter um ID do cliente, nome do cliente e tipo de conta do cliente preenchidos.

tabela que descreve a regra de qualidade de dados de completude

Regra de qualidade de dados de pontualidade

Regra de qualidade do conjunto de dados: Todos os registros no conjunto de dados do cliente devem ser carregados até as 9h.

tabela que descreve a regra de qualidade de dados de pontualidade

Regra de qualidade de elementos de dados: Todos os registros precisam ter um número de identificação fiscal preenchido assim que a conta do cliente ficar com o status “Aberta”.

tabela que descreve a regra de qualidade de dados de pontualidade

Regra de qualidade de dados de validade

Regra de qualidade de elementos de dados:

Todos os registros precisam ter uma data de nascimento no formato MM/DD/AAAA e a data precisa ser do passado.
Em todos os registros, o valor do campo Account Status deve ser Open, Closed ou Pending.

tabela que descreve a regra de qualidade de dados de validade

Regra de qualidade de consistência

Regra de qualidade do conjunto de dados: A contagem de registros carregados hoje deve estar dentro de +/- 5% da contagem de registros carregados ontem.

tabela que descreve a regra de qualidade de dados de consistência

Regra de qualidade de elementos de dados: Todos os valores de ID do cliente na Tabela de Contas também precisam estar na Tabela de Clientes.

tabela que descreve a regra de qualidade de dados de consistência

Regra de qualidade de precisão

Regra de qualidade de elementos de dados: Todos os registros em CustomerTable devem ter valores precisos nos campos Customer Name, Customer Birthdate e Customer Address quando comparados com o formulário de imposto.

tabela que descreve a regra de qualidade dos dados de precisão

formulário de imposto usado para comparação de precisão

Regra de qualidade de unicidade

Regra de qualidade de elementos de dados:

Todos os registros precisam ter um ID de cliente único.
Todos os registros devem ter uma combinação única dos campos nome do cliente, data de nascimento do cliente e endereço do cliente.

tabela que descreve a regra de qualidade de dados de unicidade

Vamos praticar!

Introdução à Qualidade de Dados