Métricas de IA responsável

Gestão Responsável de Dados em IA

Maria Prokofieva

Lead ML Engineer

Ciclo de vida de um projeto de IA

ciclo de vida

Projeto de IA responsável

Em conformidade legal
Justo e diverso
Práticas transparentes, responsáveis e seguras

Justiça do modelo:

Justo, sem viés e com resultados equitativos para todes

ciclo de vida

Características protegidas

Grupos propensos a tratamento injusto e discriminação
Definidos por características protegidas:
- Raça
- Etnia
- Gênero
- Origem socioeconômica

Um grupo de pessoas

Aquisição de dados

Resultados iguais
Disparidade demográfica
Leis e regulações

Pessoas analisando documentos

IA em reconhecimento facial

Alta acurácia

MAS

Falha em captar etnias ou gêneros específicos

POR QUÊ...

Falta de:

Dados disponíveis
Diversidade
Representatividade

rostos

Resultados iguais e disparidade demográfica

Resultados iguais: benefícios iguais entre grupos

Disparidade demográfica condicional: diferenças entre grupos

Use estatísticas descritivas e distribuições para avaliar a diversidade
Medidas corretivas: ponderação e balanceamento
Reavalie após modelar
Registre os testes

Equidade

Modelagem

Desempenho igual

Ex.: diagnósticos médicos:

Alguns mais comuns em grupos protegidos

Avalie falsos negativos, falsos positivos e acurácia
Explicabilidade:
- Local Interpretable Model-agnostic Explanation (LIME)
- Shapley Additive Explanation (SHAP)

Alvo com tiros fora do centro

Implantação e monitoramento

Deriva de modelo:
- Mudanças no desempenho ao longo do tempo

Monitore distribuições
Métricas técnicas de performance
Ajuste o modelo
Registre tudo!

Aplicando métricas

Entenda as características protegidas
Existem muitas outras métricas!
Sempre consulte especialistas legais e do domínio
Faça verificações de privacidade e segurança

Dimensões de dados responsáveis

Vamos praticar!

Gestão Responsável de Dados em IA

Preparing Video For Download...