Auditoria de dados

Gestão Responsável de Dados em IA

Maria Prokofieva

Lead ML engineer

O que vamos ver

• Auditoria de dados
• Validação de dados
• Estratégias de mitigação de viés

Auditoria de dados

• Revisão completa dos dados ao longo do ciclo de vida do projeto

• Verifique o estado técnico e responsável

• Feita após uma grande mudança no projeto

• Documentação atualizada para auditoria

Realizando auditorias de dados

• Feitas com frequência
• Garanta que problemas não sejam introduzidos sem querer
• Evite complicações e amplificação de erros
• Mantenha transparência e responsabilidade
• Construa confiança

Consultor financeiro com IA

• Perfil comportamental e metas do plano
• Defina uma estratégia
• Combine metas com produtos de investimento
• Monte a carteira

Fontes de dados:

• Dados do usuário de chat e uploads
• Dados externos em tempo real e históricos (Bloomberg)

¹ Imagem por Streamline HQ

Fontes de dados do projeto

• Dados fornecidos pelo usuário
• Dados externos de API

¹ Imagem por Streamline HQ

Configuração da auditoria de dados

Use o Plano de Gerenciamento de Dados:

• Detalhes dos dados
• Frequência de auditoria
• Testes necessários
• Membros responsáveis

¹ Imagem por Streamline HQ

Cronograma de auditorias de dados

• Exploração inicial
• Auditorias regulares para pré-processamento e modelagem
• Quaisquer mudanças relevantes nos dados

¹ Imagem por Streamline HQ

Auditorias contínuas de dados

• Monitoramento contínuo
• Qualidade dos dados e conformidade
• Desempenho do modelo e métricas de equidade
• Uso e armazenamento de dados
• Segurança e escalabilidade

Drift de modelo

• O modelo pode perder acurácia com o tempo
• Mudanças sociais, de mercado ou em variáveis
• Detecte drift registrando previsões e avaliando métricas
• Alerta se métricas ultrapassarem o limite
• Corrija com novos dados ou re-treinando o modelo

Auditorias de dados no consultor financeiro IA

• Exploração inicial
• Pré-processamento com transformações e limpeza
• Modelagem com avaliação de equidade
• Auditoria pré-implantação
• Monitoramento contínuo

¹ Imagem por Streamline HQ

Vamos praticar!

Gestão Responsável de Dados em IA