Модельно-независимые объяснения

Концепции объяснимого искусственного интеллекта (XAI)

Folkert Stijnman

ML Engineer

Модели «чёрного ящика»

• Входные данные известны
• Результат известен
• Внутри — множество параметров

Глобальные и локальные объяснения

 

• SHAP (SHapley Additive exPlanations)
• LIME (Local Interpretable Model-agnostic Explanations)

 

SHAP (SHapley Additive exPlanations)

 

• Работает как детектив
• Анализирует каждый признак
• Определяет относительный вклад каждого компонента в итоговый результат

Значения Шепли

• Концепция из теории кооперативных игр
• Оценивает влияние признаков
• Показывает, какие признаки важны для предсказания модели

Распознавание изображений с SHAP

LIME (Local Interpretable Model-agnostic Explanations)

• Работает как учёный
• Изменяет входные данные и наблюдает результат
• Что изменится, если скорректировать несколько пикселей на изображении?

Разработка беспилотного автомобиля

SHAP

• Глобальное понимание
• Влияние характеристик автомобиля на общую производительность

LIME

• Локальное понимание
• Влияние характеристик автомобиля на конкретное решение

Давайте потренируемся!

Концепции объяснимого искусственного интеллекта (XAI)