数据来源的局限

负责任的 AI 数据管理

Maria Prokofieva

Lead ML Engineer

数据来源与常见局限

• 法律合规
• 偏差
• 方法学
• 领域知识的作用

法律与访问相关的局限

• 特定项目的数据使用受限
• 额外合规要求
• 成本高昂

 

¹ Image by Streamline HQ

数据来源中的偏差

• 系统性错误
• 认知被扭曲
• 结果不均衡
• 使某些群体处于不利地位

偏差类型

• 历史偏差：
  • 不相关的模式与结果
• 选择性偏差：
  • 决定纳入哪些数据点
• 抽样偏差
  • 使用的抽样方法

¹ Image by Streamline HQ

偏差与来源相关的局限

• 数据覆盖受限
• 文化与地理约束
• 范围与包容性受限

   

偏差与方法学相关的局限

• 数据收集方法的选择
• 抽样方法

领域知识

• 局限或隐性偏差
• 及早与领域专家合作
• 建模前缓解局限

城市交通流项目

数据来源：

• 交通流量统计数据
• 市议会会议记录
• GPS 轨迹数据

¹ Images by Streamline HQ

城市交通流项目

历史交通统计数据：

• 历史偏差
• 过去的城市布局

会议纪要数据：

• 选择性偏差
• 对部分群体代表性过高

¹ Images by Streamline HQ

城市交通流项目

GPS 轨迹数据：

• 抽样与选择性偏差
• 可能无法代表所有通勤者

¹ Image by Streamline HQ

Passons à la pratique !

负责任的 AI 数据管理