Метрики відповідального ШІ

Відповідальне керування даними для ШІ

Maria Prokofieva

Lead ML Engineer

Життєвий цикл проєкту ШІ

життєвий цикл

Відповідальний проєкт ШІ

Відповідність закону
Справедливість і різноманіття
Прозорі, підзвітні та безпечні практики

Справедливість моделі:

Справедлива, без упереджень, з рівними результатами для всіх

життєвий цикл

Захищені характеристики

Групи, що ймовірно зазнають несправедливого ставлення та дискримінації
Визначаються за захищеними характеристиками:
- Раса
- Етнічність
- Гендер
- Соціально-економічне походження

Група людей

Збирання даних

Рівні результати
Демографічна диспропорція
Закони та нормативи

Люди переглядають документи

ШІ у розпізнаванні облич

Висока точність

АЛЕ

Не охоплює окремі етнічності чи гендери

ЧОМУ...

Брак:

Доступності даних
Різноманіття
Репрезентативності

обличчя

Рівні результати та демографічна диспропорція

Рівні результати: вигоди рівні для всіх груп

Умовна демографічна диспропорція: різниці між групами

Використовуйте описову статистику та розподіли для оцінки різноманіття даних
Корекції: зважування й балансування
Перевірте знову після моделювання
Ведіть облік тестів

Рівність

Моделювання

Рівна продуктивність

Наприклад, медичні діагнози:

Деякі частіші в захищених групах

Оцінюйте хибні негативи, хибні позитиви та точність
Пояснюваність:
- Local Interpretable Model-agnostic Explanation (LIME)
- Shapley Additive Explanation (SHAP)

Мішень із промахами

Розгортання та моніторинг

Сповзання моделі:
- Зміни показників моделі з часом

Моніторинг розподілів
Технічні метрики продуктивності
Коригуйте модель
Фіксуйте результати!

Застосування метрик

Розумійте захищені характеристики
Існує багато інших метрик!
Завжди консультуйтеся з відповідними юридичними та галузевими експертами
Виконуйте перевірки приватності та безпеки

Виміри відповідальних даних

Давайте потренуємось!

Відповідальне керування даними для ШІ

Preparing Video For Download...