Snedvridningsminskning

Ansvarsfull AI-datahantering

Maria Prokofieva

Lead ML engineer

Vi kommer att täcka

• Strategier under hela projektets livscykel
• Omsampling och omviktning
• Ommärkning och borttagning av känsliga attribut
• Adversariell träning och modellrekalibrering
• Användarbeteende
• Rättvisebegränsningar och algoritmval
• Andra strategier finns

Snedvridning – en repetition

• Systematiska fel eller fördomar
• Orättvisa utfall för grupper eller individer

¹ Bild av Streamline HQ

Snedvridning genom projektet

• I rådata
• I förbearbetning
• I modellering
• Efter driftsättning

Snedvridning i förbearbetning

• Omsampling
• Omviktning
• Ommärkning
• Borttagning av känsliga attribut

Strategier i förbearbetning

• Omsampling:
  • Justera fördelningen för balanserad klassrepresentation
• Omviktning:
  • Korrigera snedvridning med klassvikter, utan att ändra datamängdens storlek
• Ommärkning:
  • Uppdatera etiketter för korrekt målrepresentation
• Borttagning av känsliga attribut:
  • Ta bort skyddade attribut

Snedvridning i modellering

• Snedvridning från algoritmen
• Adversariell träning
• Rättvisebegränsningar
• Algoritmval med enklare, robusta eller generaliserbara modeller

Finansiell rådgivare

• Snedvridning kopplad till regionala ekonomiska skillnader
• Adversariell träning för att korrigera snedvridning
• Beslutsträd och regulariserade linjära modeller

¹ Bild av Streamline HQ

Snedvridning efter driftsättning och vid användning

• Övervaka snedvridning för att förhindra modellförskjutning
• Modellrekalibrering
• Felaktig användning av applikationen

¹ Bild av Streamline HQ

Finansiell rådgivare

Modellförskjutning:

• Underrepresenterad frilanssektor

Felaktig användning:

• Uppdatering av finansiell information

¹ Bild av Streamline HQ

Nu kör vi en övning!

Ansvarsfull AI-datahantering