Ocena i ograniczanie stronniczości społecznej

Koncepcje generatywnej AI

Daniel Tedesco

Data Lead, Google

Czym jest stronniczość społeczna?

$$ $$

Systematyczna niesprawiedliwość w generatywnej AI

Poważne konsekwencje społeczne
Sprawiedliwość bywa subiektywna
Skupiamy się na powszechnie uznawanych wartościach

$$ $$

Rozmowa kwalifikacyjna.

Gdzie pojawia się stronniczość?

Dane treningowe
Sam model
Sposób użycia modelu

Nierównoważna waga

Stronniczość w danych

Wypaczone lub niereprezentywne informacje w zbiorze treningowym

Dwa lejki treningowe. Pierwszy: do treningu trafiają fioletowe kwadraty i tylko one są generowane. Drugi: różne kształty w wielu kolorach trafiają do treningu i różne kształty są generowane.

Stronniczość w modelach

Dążenie do celów prowadzących do stronniczych wyników

Fotorealistyczny robot-polityk przemawiający na forum ONZ

Stronniczość w użyciu

Wykorzystywanie AI w niewłaściwy lub złośliwy sposób

Laptop wyświetlający wideo z dużą etykietą „FAKE".

Wykrywanie stronniczości w danych i modelach

Analiza reprezentacji bada, jak model opisuje różne grupy
Metryki sprawiedliwości oceniają model pod kątem równego traktowania, szans i dokładności dla różnych grup
Audyty ludzkie polegają na tym, że prawdziwi ludzie przeglądają wyniki modelu w poszukiwaniu stronniczości

Ograniczanie stronniczości w danych i modelach

Zróżnicowanie zbieranych danych
Dostosowanie modelu tak, aby priorytetyzował inne dane
Trening adwersarialny
Ciągłe doskonalenie

Zbiór kształtów w różnych kolorach i reprezentatywna próbka wybranych spośród nich

Czas na praktykę!

Koncepcje generatywnej AI