Риски моделей

Безопасность ИИ и управление рисками

Angeline Corvaglia

Founder and Digital Transformation Expert

Мониторинг рисков на протяжении жизненного цикла

представление жизненного цикла ИИ

В процессе разработки

  • Честные и точные данные
  • Эффективное обучение
  • Риски развёртывания несовершенной системы

разделитель

После развёртывания

  • Модели могут изменяться (дрейфовать) со временем
  • Это ведёт к смещённым или неточным результатам
Безопасность ИИ и управление рисками

Семь распространённых рисков моделей

  шахматная доска как символ рисков модели

 

  • Недостаток прозрачности и интерпретируемости модели
  • Смещение (bias)
  • Галлюцинации
  • Дрейф модели
  • Переобучение
  • Недообучение
  • Утечка данных
Безопасность ИИ и управление рисками

  изображение, символизирующее прозрачность

 

Прозрачность

  • Как модели ИИ принимают решения

Интерпретируемость

  • Почему модель выдаёт те или иные результаты

восклицательный знак

В чувствительных областях — здравоохранении или финансах

  • Процесс принятия решения
  • Так же важен, как само решение
Безопасность ИИ и управление рисками

Смещение (Bias)

Несправедливые предпочтения или предубеждения

  • Смещённые обучающие данные
  • Алгоритмы
  • Нерепрезентативные или некачественные данные
  • Допущения людей

Выявляются и устраняются ради честных и этичных систем ИИ

смещение в ИИ

Безопасность ИИ и управление рисками

Галлюцинации

иконка, символизирующая галлюцинации

Возникают по многим причинам:

  • Недостаточный объём обучающих данных
  • Некорректные допущения
  • Смещения в данных
Безопасность ИИ и управление рисками

Дрейф модели

Ранее точные модели

  • Утрачивают актуальность
  • И точность

Модель начинает ошибаться:

  • Другие данные
  • Другие закономерности в данных

представление дрейфа модели

Безопасность ИИ и управление рисками

Эффективное и точное обучение

представление процесса обучения

Переобучение

  • Модель запоминает слишком много деталей

лампочка

Недообучение

  • Модель слишком проста для обучения

лампочка

Утечка данных

  • Внешние данные попадают в обучающую выборку
Безопасность ИИ и управление рисками

Объяснимый ИИ (XAI)

 

  • Методы и техники
  • Решения, понятные людям
  • Объяснение логики вывода модели

представление объяснимого ИИ

Безопасность ИИ и управление рисками

Более надёжные, честные и безопасные системы ИИ

 

  • Меры безопасности
  • Ответственная разработка
  • Долгосрочное воздействие

стрелка

Должно быть полезным для всех

  представление надёжного, честного и безопасного ИИ

Безопасность ИИ и управление рисками

Давайте потренируемся!

Безопасность ИИ и управление рисками

Preparing Video For Download...