与模型无关的解释

可解释人工智能（XAI）概念

Folkert Stijnman

ML Engineer

黑箱模型

• 知道输入是什么
• 知道输出是什么
• 中间有大量内部参数

全局与局部解释

 

• SHAP（Shapley 加性解释）
• LIME（局部可解释的模型无关解释）

 

SHAP（Shapley 加性解释）

 

• 像侦探一样分析
• 查看每个特征
• 帮助判断各"配料"对最终结果的相对影响

Shapley 值

• 来自合作博弈论的概念
• 评估特征的影响
• 哪些特征影响模型预测

SHAP 图像识别

LIME（局部可解释的模型无关解释）

• 像科学家一样实验
• 改变输入观察结果
• 如果改动这张图的部分像素会怎样？

打造自动驾驶汽车

SHAP

• 全局理解
• 车辆特征对整体性能的影响

LIME

• 局部理解
• 车辆特征对某次决策的影响

开始练习！

可解释人工智能（XAI）概念