Boas práticas de validação de dados

Gestão Responsável de Dados em IA

Maria Prokofieva

Lead ML engineer

O que vamos ver

• Análise por subgrupos
• Valores faltantes
• Remoção de outliers
• Correção de inconsistências
• Escalonamento de features
• Codificação de features
• Redução de dimensionalidade

Análise por subgrupos

Dados faltantes

• Comum em grandes datasets
• Exclusão de dados
• Estratégias de imputação e abordagens baseadas em modelo
• Análise por subgrupos para validação

Remoção de outliers

• Métodos como z-score e IQR, ou escalonamento robusto
• Validar tratamento justo entre segmentos

Inconsistências nos dados

• Qualidade dos dados afeta integridade e confiabilidade do modelo
• Padronização e regras de validação
• Normalização por subgrupo

Escalonamento de features

• Escalonar para transformar features de entrada
• Validar checando distribuições entre grupos

Codificação de features

• Avaliar o efeito da codificação nos resultados
• Checar vieses e perda de informação
• Verificar overfitting
• Usar regularização e redução de dimensionalidade

Redução de dimensionalidade

• Reduzir features de entrada e preservar o essencial
• Pode introduzir viés
• Use técnicas com foco em fairness, como t-SNE

Consultor financeiro

• Features "Renda anual" e "Frequência de investimento"
• Ajustar outliers e escalar
• Análise por subgrupos

Vamos praticar!

Gestão Responsável de Dados em IA