Validarea datelor

Gestionarea responsabilă a datelor în AI

Maria Prokofieva

Lead ML engineer

Ce vom acoperi

  • Validarea datelor
  • Dimensiuni responsabile
  • Consilier financiar AI

validare

Gestionarea responsabilă a datelor în AI

Validarea datelor

  • Abordare mai granulară
  • Verificarea integrității tehnice a datelor
  • Verificarea echității

validarea datelor

Gestionarea responsabilă a datelor în AI

Integritate tehnică

  • Date complete
  • Fără duplicate, erori sau date depășite
  • Conform legii
  • Verificări de acuratețe, consistență, completitudine și actualitate

Dimensiuni responsabile ale datelor

Gestionarea responsabilă a datelor în AI

Consilier financiar: integritate tehnică

  • Discrepanțe și anomalii în date
  • Câmpuri atribuite incorect
  • Identificare și corectare timpurie

exemplu de categorii incorecte

Gestionarea responsabilă a datelor în AI

Consilier financiar: integritate tehnică

  • Anomalii în perioadele și metodele de colectare a datelor
  • Disparități economice regionale
  • Neoptimizat pentru toți utilizatorii

anomalii în metodele de colectare a datelor

Gestionarea responsabilă a datelor în AI

Evaluarea echității

  • Egalitatea șanselor
  • Impact disproporționat
  • Paritate demografică
  • Aplicat în toate etapele proiectului

 

Consilier financiar:

  • Toți indivizii primesc sfaturi relevante și utile
  • Recomandări uniforme pentru toate grupurile demografice
  • Niciun grup nu este afectat disproporționat
Gestionarea responsabilă a datelor în AI

Abordări pentru validarea datelor

  • Identificați variabilele cheie
  • Analizați distribuția datelor
  • Curățați datele și aplicați teste statistice
  • Echilibrați datele
  • Verificați metricile de echitate
  • Testați modelele cu seturi de date diverse
Gestionarea responsabilă a datelor în AI

Consilier financiar

logo consilier

  • Eliminați valorile extreme și imputați valorile lipsă
  • Validați cu statistici descriptive înainte și după
  • Supraesantionați pentru grupul cu venituri mici
  • Verificați performanța modelului și metricile de echitate
  • Validare încrucișată cu stratificare
  • Testați pe date „nevăzute"
Gestionarea responsabilă a datelor în AI

Să exersăm!

Gestionarea responsabilă a datelor în AI

Preparing Video For Download...