偏差缓解

负责任的 AI 数据管理

Maria Prokofieva

Lead ML engineer

本章内容

• 项目全周期的策略
• 重采样与重加权
• 重标注与敏感属性移除
• 对抗式训练与模型再校准
• 用户行为
• 公平性约束与算法选择
• 还存在其他策略

偏差回顾

• 系统性错误或偏见
• 对群体或个体造成不公结果

¹ Image by Streamline HQ

项目各阶段的偏差

• 出现在原始数据
• 出现在预处理
• 出现在建模
• 出现在部署后

预处理中的偏差

• 重采样
• 重加权
• 重标注
• 敏感属性移除

预处理阶段的策略

• 重采样：
  • 调整分布以平衡类别表示
• 重加权：
  • 通过类别权重纠正偏差，数据集规模不变
• 重标注：
  • 更新标签以更准确表示目标
• 敏感属性移除：
  • 去除受保护属性

建模中的偏差

• 源于算法的偏差
• 对抗式训练
• 公平性约束
• 选择更简单、稳健或可泛化的模型

理财顾问

• 与地区经济差异相关的偏差
• 用对抗式训练纠正偏差
• 决策树与正则化线性模型

¹ Image by Streamline HQ

部署后与使用中的偏差

• 监控偏差以防模型漂移
• 模型再校准
• 不当应用使用

¹ Image by Streamline HQ

理财顾问

模型漂移：

• 自由职业经济代表性不足

错误使用：

• 更新财务信息

¹ Image by Streamline HQ

Let's practice!

负责任的 AI 数据管理