Regras de qualidade de dados usando dimensões

Introdução à Qualidade de Dados

Chrissy Bloom

Head of Enterprise Data Strategy & Governance

Regras de qualidade de dados

Regra de qualidade de dados: tipo de regra de negócios que valida se os dados atendem aos requisitos de negócios

Pode ser definida no:
- Nível do conjunto de dados
- Nível do elemento de dados

tabela que descreve as regras de qualidade de dados de conjunto de dados e elemento de dados

Regra de qualidade de dados de completude

Regra de qualidade do conjunto de dados: Todos os registros esperados da origem devem ser carregados na tabela de destino.

tabela que descreve a regra de qualidade de dados de completude

Regra de qualidade de elementos de dados: Todos os registros devem ter os campos Customer ID, Customer Name e Customer Account Type preenchidos.

tabela que descreve a regra de qualidade de dados de completude

Regra de qualidade de dados de pontualidade

Regra de qualidade do conjunto de dados: Todos os registros no conjunto de dados do cliente devem ser carregados até as 9h.

tabela que descreve a regra de qualidade de dados de pontualidade

Regra de qualidade de elementos de dados: Todos os registros devem ter o campo Tax ID preenchido na primeira vez que o status da conta do cliente for "Open" (Aberto).

tabela que descreve a regra de qualidade de dados de pontualidade

Regra de qualidade de dados de validade

Regra de qualidade de elementos de dados:

Todos os registros devem ter um valor de data de nascimento no formatoMM/DD/YYY e o valor deve estar no passado.
Em todos os registros, o valor do campo Account Status deve ser Open, Closed ou Pending.

tabela que descreve a regra de qualidade de dados de validade

Regra de qualidade de consistência

Regra de qualidade do conjunto de dados: A contagem de registros carregados hoje deve estar dentro de +/- 5% da contagem de registros carregados ontem.

tabela que descreve a regra de qualidade de dados de consistência

Regra de qualidade de elementos de dados: Todos os valores de CustomerID em AccountTable devem estar em CustomerTable.

tabela que descreve a regra de qualidade de dados de consistência

Regra de qualidade de precisão

Regra de qualidade de elementos de dados: Todos os registros em CustomerTable devem ter valores precisos nos campos Customer Name, Customer Birthdate e Customer Address quando comparados com o formulário de imposto.

tabela que descreve a regra de qualidade dos dados de precisão

formulário de imposto usado para comparação de precisão

Regra de qualidade de unicidade

Regra de qualidade de elementos de dados:

Todos os registros devem ter um Customer ID único.
Todos os registros devem ter uma combinação única dos campos nome do cliente, data de nascimento do cliente e endereço do cliente.

tabela que descreve a regra de qualidade de dados de unicidade

Vamos praticar!

Introdução à Qualidade de Dados