Validarea datelor
Gestionarea responsabilă a datelor în AI
Maria Prokofieva
Lead ML engineer
Ce vom acoperi
Validarea datelor
Dimensiuni responsabile
Consilier financiar AI
Validarea datelor
Abordare mai granulară
Verificarea integrității tehnice a datelor
Verificarea echității
Integritate tehnică
Date complete
Fără duplicate, erori sau date depășite
Conform legii
Verificări de acuratețe, consistență, completitudine și actualitate
Consilier financiar: integritate tehnică
Discrepanțe și anomalii în date
Câmpuri atribuite incorect
Identificare și corectare timpurie
Consilier financiar: integritate tehnică
Anomalii în perioadele și metodele de colectare a datelor
Disparități economice regionale
Neoptimizat pentru toți utilizatorii
Evaluarea echității
Egalitatea șanselor
Impact disproporționat
Paritate demografică
Aplicat în toate etapele proiectului
Consilier financiar:
Toți indivizii primesc sfaturi relevante și utile
Recomandări uniforme pentru toate grupurile demografice
Niciun grup nu este afectat disproporționat
Abordări pentru validarea datelor
Identificați variabilele cheie
Analizați distribuția datelor
Curățați datele și aplicați teste statistice
Echilibrați datele
Verificați metricile de echitate
Testați modelele cu seturi de date diverse
Consilier financiar
Eliminați valorile extreme și imputați valorile lipsă
Validați cu statistici descriptive înainte și după
Supraesantionați pentru grupul cu venituri mici
Verificați performanța modelului și metricile de echitate
Validare încrucișată cu stratificare
Testați pe date „nevăzute"
Să exersăm!
Gestionarea responsabilă a datelor în AI
Preparing Video For Download...