负责任的 AI 指标

负责任的 AI 数据管理

Maria Prokofieva

Lead ML Engineer

AI 项目生命周期

生命周期

负责任的 AI 数据管理

负责任的 AI 项目

  • 符合法规
  • 公平且多元
  • 过程透明、可问责且安全

 

模型公平性：

  • 公平、无偏，对所有人结果均衡

 

生命周期

负责任的 AI 数据管理

受保护特征

  • 可能被不公平对待、遭受歧视的群体
  • 由受保护特征定义：
    • 种族
    • 族裔
    • 性别
    • 社会经济背景

一群人

负责任的 AI 数据管理

数据获取

  • 结果平等
  • 人口差异
  • 法律与法规

翻阅文件的人们

负责任的 AI 数据管理

人脸识别中的 AI

  • 高准确率

但

  • 未能识别特定族裔或性别

原因…

缺乏：

  • 数据可用性
  • 多样性
  • 表征

 

人脸

负责任的 AI 数据管理

结果平等与人口差异

结果平等：各群体受益相同

条件人口差异：群体间差异

  • 用描述性统计与分布评估数据多样性
  • 纠偏措施：加权与均衡
  • 建模后复核
  • 记录测试

公平

负责任的 AI 数据管理

建模

  • 性能平等

例如，医疗诊断：

  • 某些疾病在受保护群体中更常见

 

  • 评估假阴性、假阳性和准确率
  • 可解释性：
    • Local Interpretable Model-agnostic Explanation (LIME)
    • Shapley Additive Explanation (SHAP)

 

靶心与脱靶

负责任的 AI 数据管理

部署与监控

  • 模型漂移：
    • 随时间性能变化

 

  • 监控分布
  • 技术性能指标
  • 调整模型
  • 持续记录！
负责任的 AI 数据管理

应用指标

  • 理解受保护特征
  • 还有更多指标！
  • 务必咨询相关法律与领域专家
  • 开展隐私与安全检查

负责任数据维度

负责任的 AI 数据管理

Passons à la pratique !

负责任的 AI 数据管理

Preparing Video For Download...