Detecção de anomalias

Introdução à Qualidade de Dados

Chrissy Bloom

Head of Enterprise Data Strategy & Governance

Definição da detecção de anomalias

Detecção de anomalias: quando um algoritmo de ML é usado para aprender sobre um conjunto de dados usando dados históricos e identifica possíveis problemas de qualidade

lupa com um relógio indicando o monitoramento ao longo do tempo e uma seta apontando para uma tabela com uma possível anomalia detectada

Benefícios da detecção de anomalias

Benefícios:

Monitorar dados em escala em vez de apenas elementos de dados críticos
Requer pouco conhecimento do negócio para ser configurado, pois o algoritmo de ML aprende como são os erros
Pode detectar deriva de dados e percepções não óbvias sobre os dados

diagrama com várias fontes de dados diferentes, simbolizando a qualidade dos dados em escala

Uso da detecção de anomalias

Quando uma grande quantidade de dados está disponível
Quando uma grande quantidade de dados exige monitoramento da qualidade
- mínimo de trabalho manual necessário
- configure o monitoramento em escala
- automatize a localização de anomalias nos dados

três linhas de texto sobre o uso de detecção, prevenção e detecção de anomalias

Exemplo de detecção de anomalias

duas tabelas com dados em que uma possível anomalia é detectada na última linha

Vamos praticar!

Introdução à Qualidade de Dados