Odpowiedzialne metryki AI

Odpowiedzialne zarządzanie danymi w AI

Maria Prokofieva

Lead ML Engineer

Cykl życia projektu AI

cykl życia

Odpowiedzialny projekt AI

Zgodność z prawem
Sprawiedliwość i różnorodność
Przejrzyste, rozliczalne i bezpieczne praktyki

Sprawiedliwość modelu:

Bezstronny i zapewniający równe wyniki dla wszystkich

cykl życia

Chronione cechy

Grupy narażone na niesprawiedliwe traktowanie i dyskryminację
Definiowane przez chronione cechy:
- Rasa
- Pochodzenie etniczne
- Płeć
- Status społeczno-ekonomiczny

Grupa ludzi

Pozyskiwanie danych

Równe wyniki
Dysproporcja demograficzna
Przepisy i regulacje prawne

Osoby przeglądające dokumenty

AI w rozpoznawaniu twarzy

Wysoka dokładność

ALE

Błędy w rozpoznawaniu niektórych grup etnicznych lub płci

DLACZEGO...

Brak:

Dostępności danych
Różnorodności
Reprezentacji

Twarze

Równe wyniki i dysproporcja demograficzna

Równe wyniki: korzyści jednakowe dla wszystkich grup

Warunkowa dysproporcja demograficzna: różnice między grupami

Statystyki opisowe i rozkłady do oceny różnorodności danych
Działania naprawcze: ważenie i balansowanie
Weryfikacja po modelowaniu
Rejestrowanie testów

Równość

Modelowanie

Równa wydajność

Na przykład diagnozy medyczne:

Niektóre częstsze w chronionych grupach

Ocena wyników fałszywie negatywnych, fałszywie pozytywnych i dokładności
Wyjaśnialność:
- Local Interpretable Model-agnostic Explanation (LIME)
- Shapley Additive Explanation (SHAP)

Tarcza z nietrafionym strzałem

Wdrożenie i monitorowanie

Dryfowanie modelu:
- Zmiany wydajności modelu w czasie

Monitorowanie rozkładów
Techniczne metryki wydajności
Dostosowanie modelu
Prowadzenie rejestru!

Stosowanie metryk

Poznanie chronionych cech
Istnieje o wiele więcej metryk!
Zawsze konsultuj się z ekspertami prawnymi i dziedzinowymi
Przeprowadzanie kontroli prywatności i bezpieczeństwa

Wymiary odpowiedzialnych danych

Czas na ćwiczenia!

Odpowiedzialne zarządzanie danymi w AI

Preparing Video For Download...