Avaliação e redução de vieses sociais

Conceitos de IA Generativa

Daniel Tedesco

Data Lead, Google

O que significa viés social?

$$ $$

Injustiças sistemáticas na IA generativa

Consequências sociais graves
A imparcialidade pode ser subjetiva
Foco em valores comuns à maioria

$$ $$

Uma entrevista de emprego.

Onde os vieses se manifestam

Dados de treinamento
O próprio modelo
Como o modelo é usado

Balança desequilibrada

Vieses nos dados

Informações distorcidas ou não representativas no conjunto de dados de treinamento

Dois funis de treinamento. Um mostra quadrados roxos entrando no treinamento e somente quadrados roxos sendo gerados. O outro mostra várias formas coloridas entrando no treinamento e diversas formas sendo geradas

Vieses nos modelos

Busca de objetivos que levam a resultados enviesados

Robô político fotorrealista fazendo um discurso na ONU

Vieses no uso

Utilização errada ou mal-intencionada da IA

Notebook mostrando um vídeo com um rótulo gigante dizendo “FAKE” (FALSO).

Como identificar vieses em dados e modelos

A análise de representatividade compara como o modelo se refere a diferentes grupos
As métricas de imparcialidade avaliam a igualdade de tratamento, oportunidades e precisão do modelo entre grupos
As auditorias humanas pedem a pessoas reais que analisem os resultados de um modelo para identificar vieses

Como reduzir vieses nos dados e modelos

Diversificar a coleta de dados
Ajustar o modelo para priorizar dados diferentes
Treinamento adversário
Melhoria contínua

Um conjunto de formas de cores diferentes e uma amostra representativa delas selecionada

Vamos praticar!

Conceitos de IA Generativa