Qualidade de dados e ingestão

Conceitos de MLOps

Folkert Stijnman

ML Engineer

Qualidade de dados e ingestão

O que é qualidade de dados?

• Qualidade de dados mede o quão bem os dados cumprem seu propósito
• Avaliada por várias dimensões
• A qualidade do modelo de ML depende dos dados

Dimensões de qualidade de dados

• Acurácia
• Completude
• Consistência
• Atualidade

Exemplo de dimensões de qualidade

Dimensão	Pergunta de exemplo	Exemplo da qualidade da dimensão
Acurácia	Nossos dados descrevem o cliente corretamente?	A idade do cliente nos dados é 18, mas na realidade é 32.
Completude	Falta algum dado do cliente?	Para 80% dos clientes, não temos sobrenome.
Consistência	A definição de cliente é sincronizada em toda a empresa?	O cliente é marcado como ativo em um banco de dados e inativo em outro.
Atualidade	Quando os dados de pedidos do cliente ficam disponíveis?	Os pedidos são sincronizados no fim do dia e não estão disponíveis em tempo real.

Baixa qualidade de dados não é o fim do projeto!

Ingestão de dados

Vamos praticar!

Conceitos de MLOps