数据来源

负责任的 AI 数据管理

Maria Prokofieva

Lead ML engineer

即将学习...

• 数据来源类型
• 局限性与选择
• 融合多源数据

数据来源为何重要

• 完整性
• 多样性
• 公平代表性

¹ 图片来源：Streamline HQ

按来源分类

• 一手

  • 项目内自行收集
  • 合规与同意

• 二手

  • 来源于现有资源
  • 许可协议

按性质分类

• 定量

  • 数值型数据

• 定性

  • 非数值型

• 混合

  • 数值与非数值的组合

¹ 图片来源：Streamline HQ

按时效性分类

• 静态
  • 随时间不变
  • 人口普查数据
  • 公司地址
• 动态
  • 实时更新
  • 社交媒体流
  • API
  • 金融市场行情
  • 传感器数据

¹ 图片来源：Streamline HQ

数据来源的多样性与公平性

• 数据收集者的直接偏见
• 可测的偏差检查
• 与现状不符、过时的偏见

• 源上下文继承的偏见
• 细致入微的分析
• 持续演变，可能引入实时偏见

城市交通流项目

数据来源：

• 历史交通数据
• 市议会会议纪要
• GPS 轨迹数据

¹ 图片来源：Streamline HQ

历史交通数据

• 市交通部门
• 近5年
• 包含车辆计数与时段（天/周）

这是一个主要静态定量来源

¹ 图片来源：Streamline HQ

市议会会议纪要

• 公开记录，见议会官网
• 城市规划与交通管理摘要

这是一个定性二手来源

¹ 图片来源：Streamline HQ

GPS 数据

• 主要动态来源
• 提供当前路况、车速与延误的即时洞察

¹ 图片来源：Streamline HQ

Vamos praticar!

负责任的 AI 数据管理