数据源选择

负责任的 AI 数据管理

Maria Prokofieva

Lead ML engineer

为何要选择？

• 确保数据质量
• 法律合规
• 公平性

 

步骤 1：项目相关性

• 与项目目标的相关性
• 检查是否一致于：
  • 主题领域
  • 范围
  • 预期成果

步骤 2：数据源完整性

• 评估完整性与可信度
• 评价与口碑
• 数据采集透明度
• 合规与许可
• 高质量：定期更新

步骤 3：法律合规

• 数据的合法性
• 项目合规性
• 法务咨询：
  • 适用法律与限制
  • 数据匿名化
  • 数据安全要求
• 法务团队批准

步骤 4：技术质量

• 结构完整性与可用性
• 完整
• 一致
• 准确
• 及时

步骤 5：偏差与代表性

• 人口代表性分析
• 受保护特征
• 分析群体分布
• 公平性指标
• 数据增强

步骤 6：选择

• 包含条件：
  • 持续一致
  • 可用变换、增强或算法纠正
• 排除条件：
  • 关键方面不足
• 咨询领域专家

城市交通流项目

数据来源：

1. 交通计数数据
2. 市政会议记录
3. GPS 轨迹数据
4. 社交媒体对交通状况的提及
5. 通勤者问卷数据

¹ 图片来源：Streamline HQ

城市交通流项目

【排除】

• 社交媒体数据
• 通勤者问卷数据

【调整】

• 市政会议记录
• 交通计数数据
  • 传感器补充数据
• GPS 数据
  • 摄像头补充数据

Passons à la pratique !

负责任的 AI 数据管理