Convalida dei dati

Gestione responsabile dei dati per l'AI

Maria Prokofieva

Lead ML engineer

Cosa vedremo

Convalida dei dati
Dimensioni della responsabilità
Consulente finanziario IA

convalida

Convalida dei dati

Approccio più granulare
Verifica l’integrità tecnica dei dati
Verifica l’equità

convalida dei dati

Integrità tecnica

Dati completi
Niente duplicati, errori o dati obsoleti
Conformi alla legge
Controlli di accuratezza, coerenza, completezza e tempestività

Dimensioni dei dati responsabili

Consulente finanziario: integrità tecnica

Discrepanze e anomalie nei dati
Campi assegnati in modo errato
Individua e correggi presto

esempio di categorie errate

Consulente finanziario: integrità tecnica

Anomalie in periodi e metodi di raccolta
Disparità economiche regionali
Non ottimizzato per tutti i gruppi di utenti

anomalie nei metodi di raccolta dati

Valutazione dell’equità

Pari opportunità
Impatto disparato
Parità demografica
Applicato a tutte le fasi del progetto

Consulente finanziario:

Tutti ricevono consigli pertinenti e utili
Raccomandazioni uniformi tra tutti i gruppi demografici
Nessun gruppo è colpito in modo sproporzionato

Approcci alla convalida dei dati

Identifica le variabili chiave
Analizza la distribuzione dei dati
Pulisci i dati e applica test statistici
Bilancia i dati
Verifica le metriche di equità
Testa i modelli con dataset diversi

Consulente finanziario

logo consulente

Rimuovi outlier e imputa i mancanti
Valida con statistiche descrittive prima e dopo
Oversampling per il gruppo a basso reddito
Controlla performance del modello e metriche di equità
Cross‑validation con stratificazione
Test su dati “non visti”

Passiamo alla pratica!

Gestione responsabile dei dati per l'AI

Preparing Video For Download...