Metriche per l’AI responsabile

Gestione responsabile dei dati per l'AI

Maria Prokofieva

Lead ML Engineer

Ciclo di vita di un progetto AI

ciclo di vita

Progetto di AI responsabile

Conforme alla legge
Equa e diversificata
Pratiche trasparenti, responsabili e sicure

Equità del modello:

Equo, imparziale, con esiti equi per tutti

ciclo di vita

Caratteristiche protette

Gruppi a rischio di trattamento ingiusto e discriminazione
Definiti da caratteristiche protette:
- Razza
- Etnia
- Genere
- Background socioeconomico

Un gruppo di persone

Acquisizione dei dati

Esiti equi
Disparità demografica
Leggi e normative

Persone che esaminano documenti

AI nel riconoscimento facciale

Alta accuratezza

MA

Non rileva etnie o generi specifici

PERCHÉ...

Mancanza di:

Dati disponibili
Diversità
Rappresentazione

volti

Esiti equi e disparità demografica

Esiti equi: benefici uguali tra gruppi

Disparità demografica condizionata: differenze tra gruppi

Usa statistiche descrittive e distribuzioni per valutare la diversità dei dati
Correzioni: pesi e bilanciamento
Rivaluta dopo il modello
Tieni traccia dei test

Equità

Modeling

Prestazioni uguali

Esempio, diagnosi mediche:

Alcune più comuni nei gruppi protetti

Valuta falsi negativi, falsi positivi e accuratezza
Explainability:
- Local Interpretable Model-agnostic Explanation (LIME)
- Shapley Additive Explanation (SHAP)

Bersaglio con tiri mancati

Deployment e monitoraggio

Deriva del modello:
- Cambiamenti delle prestazioni nel tempo

Monitora le distribuzioni
Metriche tecniche di performance
Adatta il modello
Tieni traccia!

Applicare le metriche

Comprendi le caratteristiche protette
Esistono molte altre metriche!
Consulta sempre esperti legali e di dominio
Esegui verifiche di privacy e sicurezza

Dimensioni dei dati responsabili

Laten we oefenen!

Gestione responsabile dei dati per l'AI

Preparing Video For Download...