可解释性与可理解性

理解 Artificial Intelligence

Iason Prassides

Content Developer, DataCamp

可解释性与可理解性

可解释性： 人类可获取并理解 AI 输出，如预测与决策

可理解性： 理解 AI 的内部过程：算法、模型、数据流程

白盒 vs 黑盒 AI 系统

白盒： 透明且易于解释的模型/系统

白盒 vs 黑盒 AI 系统

白盒： 透明且易于解释的模型/系统

白盒 vs 黑盒 AI 系统

白盒： 透明且易于解释的模型/系统

白盒 vs 黑盒 AI 系统

黑盒： 高复杂度，几乎不可理解

白盒 vs 黑盒 AI 系统

黑盒： 高复杂度，几乎不可理解

基础可解释 AI（XAI）工具

XAI：提升 AI 系统与模型透明度和可解释性的工具与方法

• 模型内省： 检查内部参数以理解决策

基础可解释 AI（XAI）工具

XAI：提升 AI 系统与模型透明度和可解释性的工具与方法

• 模型内省： 检查内部参数以理解决策
• 模型文档： 可共享的架构与设计考量

基础可解释 AI（XAI）工具

XAI：提升 AI 系统与模型透明度和可解释性的工具与方法

• 模型内省： 检查内部参数以理解决策
• 模型文档： 可共享的架构与设计考量
• 模型可视化： 以人类友好的方式呈现特征与输出

XAI 工具：特征重要性

特征重要性： 特征（自变量）对模型输出的影响/贡献

• 了解数据驱动模型（ML/DL）如何决策
• 发现并缓解问题，如偏见
• 若移除某特征，对模型性能的影响

 

SHAP（SHapley Additive exPlanations）

• 特征重要性可视化工具箱

XAI 工具：特征重要性

SHAP（SHapley Additive exPlanations）

XAI 工具：特征重要性

SHAP（SHapley Additive exPlanations）

 

 

XAI 工具：特征重要性

SHAP（SHapley Additive exPlanations）

XAI 的实践意义

• 算法透明性：
  • 算法如何处理数据并做出决策

 

• 局部与全局可理解性：
  • 理解针对某次预测的行为，vs
  • 理解模型在数据集/问题上的整体行为

• 伦理考量：
  • 用 XAI 解决伦理问题：偏见、歧视、合规等

 

• 人机协作：
  • 基于信任与反馈的可靠协作

Ayo berlatih!

理解 Artificial Intelligence