Метрики ответственного ИИ

Ответственное управление данными в ИИ

Maria Prokofieva

Lead ML Engineer

Жизненный цикл ИИ-проекта

жизненный цикл

Ответственное управление данными в ИИ

Ответственный ИИ-проект

  • Соответствие законодательству
  • Справедливость и разнообразие
  • Прозрачность, подотчётность и безопасность

 

Справедливость модели:

  • Беспристрастная и равноправная для всех

 

жизненный цикл

Ответственное управление данными в ИИ

Защищённые характеристики

  • Группы, подверженные несправедливому обращению и дискриминации
  • Определяются защищёнными характеристиками:
    • Раса
    • Этническая принадлежность
    • Пол
    • Социально-экономическое положение

Группа людей

Ответственное управление данными в ИИ

Сбор данных

  • Равные результаты
  • Демографическое неравенство
  • Законы и нормативные акты

Люди изучают документы

Ответственное управление данными в ИИ

ИИ в распознавании лиц

  • Высокая точность

НО

  • Не распознаёт отдельные этнические группы или гендеры

ПОЧЕМУ...

Нехватка:

  • Доступных данных
  • Разнообразия
  • Представленности

 

лица

Ответственное управление данными в ИИ

Равные результаты и демографическое неравенство

Равные результаты: выгоды одинаковы для всех групп

Условное демографическое неравенство: различия между группами

  • Описательная статистика и распределения для оценки разнообразия данных
  • Корректирующие меры: взвешивание и балансировка
  • Пересмотр после моделирования
  • Фиксируйте результаты тестов

Равноправие

Ответственное управление данными в ИИ

Моделирование

  • Одинаковая производительность

Например, медицинская диагностика:

  • Некоторые заболевания чаще встречаются в защищённых группах

 

  • Оценивайте ложноотрицательные, ложноположительные результаты и точность
  • Объяснимость:
    • Local Interpretable Model-agnostic Explanation (LIME)
    • Shapley Additive Explanation (SHAP)

 

Мишень с промахами

Ответственное управление данными в ИИ

Развёртывание и мониторинг

  • Дрейф модели:
    • Изменение производительности модели со временем

 

  • Отслеживайте распределения
  • Технические метрики производительности
  • Корректируйте модель
  • Ведите учёт!
Ответственное управление данными в ИИ

Применение метрик

  • Учитывайте защищённые характеристики
  • Существует гораздо больше метрик!
  • Всегда консультируйтесь с профильными юридическими и отраслевыми экспертами
  • Проводите проверки конфиденциальности и безопасности

Измерения ответственных данных

Ответственное управление данными в ИИ

Давайте потренируемся!

Ответственное управление данными в ИИ

Preparing Video For Download...