Métricas de IA responsable

Gestión responsable de datos en AI

Maria Prokofieva

Lead ML Engineer

Ciclo de vida de un proyecto de IA

ciclo de vida

Proyecto de IA responsable

Cumple la ley
Justa y diversa
Prácticas transparentes, responsables y seguras

Equidad del modelo:

Justo, sin sesgos y con resultados equitativos para todos

ciclo de vida

Características protegidas

Grupos propensos a trato injusto y discriminación
Definidos por características protegidas:
- Raza
- Etnicidad
- Género
- Origen socioeconómico

Un grupo de personas

Adquisición de datos

Resultados equitativos
Disparidad demográfica
Leyes y regulaciones

Personas revisando documentos

IA en reconocimiento facial

Alta precisión

PERO

No captura etnias o géneros específicos

¿POR QUÉ...?

Falta de:

Disponibilidad de datos
Diversidad
Representación

caras

Resultados equitativos y disparidad demográfica

Resultados equitativos: beneficios iguales entre grupos

Disparidad demográfica condicional: diferencias entre grupos

Usa estadísticas descriptivas y distribuciones para evaluar la diversidad
Medidas correctivas: ponderación y equilibrado
Revisar tras el modelado
Registra las pruebas

Equidad

Modelado

Rendimiento igual

Por ejemplo, diagnósticos médicos:

Algunos más comunes en grupos protegidos

Evalúa falsos negativos, falsos positivos y precisión
Explicabilidad:
- Local Interpretable Model-agnostic Explanation (LIME)
- Shapley Additive Explanation (SHAP)

Diana con tiros fallidos

Despliegue y monitoreo

Deriva del modelo:
- Cambios en el rendimiento con el tiempo

Monitoriza distribuciones
Métricas técnicas de rendimiento
Ajusta el modelo
¡Regístralo!

Aplicar métricas

Entiende las características protegidas
¡Hay muchas más métricas!
Consulta siempre a expertos legales y del dominio
Realiza comprobaciones de privacidad y seguridad

Dimensiones de datos responsables

¡Vamos a practicar!

Gestión responsable de datos en AI

Preparing Video For Download...