Bune practici de validare a datelor

Gestionarea responsabilă a datelor în AI

Maria Prokofieva

Lead ML engineer

Ce vom acoperi

• Analiza subgrupurilor
• Valori lipsă
• Eliminarea valorilor extreme
• Corectarea inconsistențelor din date
• Scalarea caracteristicilor
• Codificarea caracteristicilor
• Reducerea dimensionalității

Analiza subgrupurilor

Date lipsă

• Frecvente în seturi mari de date
• Ștergerea datelor
• Strategii de imputare și abordări bazate pe modele
• Analiza subgrupurilor pentru validare

Eliminarea valorilor extreme

• Metode statistice precum z-scores și IQR, sau scalare robustă
• Validați tratamentul echitabil între segmentele de date

Inconsistențe în date

• Calitatea datelor afectează integritatea și fiabilitatea modelului
• Standardizarea și regulile de validare a datelor
• Normalizarea subgrupurilor

Scalarea caracteristicilor

• Scalarea caracteristicilor pentru transformarea intrărilor
• Validare prin verificarea distribuțiilor între grupuri

Codificarea caracteristicilor

• Evaluați efectul codificării asupra rezultatelor
• Verificați părtinirile și pierderea de informații
• Verificați supraadaptarea
• Aplicați regularizare și reducere a dimensionalității

Reducerea dimensionalității

• Reduceți caracteristicile și păstrați informațiile esențiale
• Poate introduce părtiniri
• Utilizați tehnici echitabile, precum t-SNE

Consilier financiar

• Caracteristicile „Venit anual" și „Frecvența investițiilor"
• Ajustați valorile extreme și scalarea
• Analiza subgrupurilor

Să exersăm!

Gestionarea responsabilă a datelor în AI