Снижение предвзятости

Ответственное управление данными в ИИ

Maria Prokofieva

Lead ML engineer

Темы раздела

  • Стратегии на всех этапах проекта
  • Повторная выборка и перевзвешивание
  • Переразметка и удаление чувствительных атрибутов
  • Состязательное обучение и рекалибровка модели
  • Поведение пользователей
  • Ограничения справедливости и выбор алгоритма
  • Существуют и другие стратегии
Ответственное управление данными в ИИ

Предвзятость: повторение

  • Систематические ошибки и предубеждения
  • Несправедливые результаты для групп или отдельных лиц

Предвзятость в ИИ

1 Изображение: Streamline HQ
Ответственное управление данными в ИИ

Предвзятость в проекте

  • В исходных данных
  • На этапе предобработки
  • При моделировании
  • После развёртывания

lifecycle

Ответственное управление данными в ИИ

Предвзятость при предобработке

  • Повторная выборка
  • Перевзвешивание
  • Переразметка
  • Удаление чувствительных атрибутов
Ответственное управление данными в ИИ

Стратегии предобработки

  • Повторная выборка:
    • Корректировка распределения для сбалансированного представления классов
  • Перевзвешивание:
    • Устранение смещений с помощью весов классов без изменения размера набора данных
  • Переразметка:
    • Обновление меток для точного представления целевой переменной
  • Удаление чувствительных атрибутов:
    • Исключение защищённых атрибутов
Ответственное управление данными в ИИ

Предвзятость при моделировании

  • Предвзятость алгоритма
  • Состязательное обучение
  • Ограничения справедливости
  • Выбор простых, устойчивых и обобщаемых моделей
Ответственное управление данными в ИИ

Финансовый консультант

  • Предвзятость, связанная с региональными экономическими различиями
  • Состязательное обучение для коррекции предвзятости
  • Деревья решений и регуляризованные линейные модели

финансовый консультант

1 Изображение: Streamline HQ
Ответственное управление данными в ИИ

Предвзятость после развёртывания и при использовании

  • Мониторинг предвзятости для предотвращения дрейфа модели
  • Рекалибровка модели
  • Некорректное использование приложения

приложение в работе

1 Изображение: Streamline HQ
Ответственное управление данными в ИИ

Финансовый консультант

Дрейф модели:

  • Недостаточное представление фриланс-экономики

Некорректное использование:

  • Обновление финансовой информации

финансовый консультант

1 Изображение: Streamline HQ
Ответственное управление данными в ИИ

Давайте потренируемся!

Ответственное управление данными в ИИ

Preparing Video For Download...