Integração de dados

Gestão Responsável de Dados em IA

Maria Prokofieva

Lead ML engineer

O que vamos ver

• Por que integrar
• Benefícios e complicações
• Etapas da integração de dados

Por que usar várias fontes?

• Visão detalhada e completa
• Rede de segurança
• Diversidade e equidade nos dados
• Explicabilidade, transparência e responsabilidade

Atenção aos problemas

• Comprometer a qualidade
• Introduzir inconsistências
• Amplificar vieses
• Reduzir a representação
• Aumentar a complexidade do modelo
• Menos transparência e explicabilidade

¹ Imagem por Streamline HQ

Etapa 1. Seleção de fontes de dados

• Seguir as etapas de avaliação
• Avaliar as fontes
• Conjunto de dados mais equilibrado e completo

Etapa 2. Alinhar tipos de dados

• Identificar variáveis em comum
• Padronizar nomes e formatos
• Normalizar dados numéricos
• Consolidar dados categóricos
• Alinhar a granularidade

Etapa 3. Reduzir viés e melhorar representação

• Ponderação
  • Conhecimento de domínio
  • Atribuir pesos a grupos sub/super-representados
• Balanceamento
  • Representação igual
  • Over/undersampling
• Checagens algorítmicas
• Análise de lacunas

Etapa 4. Documentar

• Registros detalhados:
  • Etapas da integração
  • Decisões tomadas
• Metadados detalhados:
  • Fontes de dados
  • Metodologia de coleta
  • Transformações aplicadas

Projeto: fluxo de tráfego urbano

• Selecionar fontes de dados
• Identificar atributos em comum
• Criar um Modelo de Dados Unificado

¹ Imagens por Streamline HQ

Projeto: fluxo de tráfego urbano

• Técnicas estatísticas para viés e representação
• Aplicar ajustes de ponderação
• Análise de lacunas e reponderação
• Documentar

Vamos praticar!

Gestão Responsável de Dados em IA