Модель-агностичні пояснення

Концепції Explainable Artificial Intelligence (XAI)

Folkert Stijnman

ML Engineer

Моделі «чорної скриньки»

• Ми знаємо, що входить
• Ми знаємо, що виходить
• Між ними — багато внутрішніх параметрів

Глобальні та локальні пояснення

 

• SHAP (SHapley Additive exPlanations)
• LIME (Local Interpretable Model-agnostic Explanations)

 

SHAP (SHapley Additive exPlanations)

 

• Працює як детектив
• Розглядає кожну ознаку
• Допомагає зʼясувати відносний внесок кожного інгредієнта у підсумковий результат

Значення Шеплі

• Концепція з кооперативної теорії ігор
• Оцінює вплив ознак
• Які ознаки важливі для передбачення моделі

Розпізнавання зображень із SHAP

LIME (Local Interpretable Model-agnostic Explanations)

• Працює як науковець
• Змінює вхід, щоб побачити результат
• А що, як змінити кілька пікселів на цьому зображенні?

Створення безпілотного автомобіля

SHAP

• Глобальне розуміння
• Вплив характеристик авто на загальну продуктивність

LIME

• Локальне розуміння
• Вплив характеристик авто на конкретне рішення

Давайте потренуємось!

Концепції Explainable Artificial Intelligence (XAI)