数据整合

负责任的 AI 数据管理

Maria Prokofieva

Lead ML engineer

本章内容

• 为什么需要整合
• 其益处与复杂性
• 数据整合步骤

为何使用多源？

• 全面细致的视图
• 安全网
• 数据多样性与公平性
• 可解释性、透明性与问责

注意问题

• 影响数据质量
• 引入不一致
• 放大偏差
• 降低代表性
• 增加模型复杂度
• 降低透明性与可解释性

¹ Image by Streamline HQ

步骤 1：选择数据源

• 按评估步骤执行
• 评估数据源
• 更均衡且全面的数据集

步骤 2：对齐数据类型

• 识别共同变量
• 统一名称与格式
• 规范化数值数据
• 合并分类数据
• 对齐数据粒度

步骤 3：改进偏差与代表性

• 加权
  • 领域知识
  • 为过度/不足代表的群体设定权重
• 平衡
  • 等量代表
  • 过采样/欠采样
• 算法检查
• 差距分析

步骤 4：记录

• 详细记录：
  • 数据整合步骤
  • 所做决策
• 详细元数据：
  • 数据来源
  • 采集方法
  • 应用的转换

城市交通流项目

• 选择数据源
• 识别共同特征
• 制定统一数据模型

¹ Images by Streamline HQ

城市交通流项目

• 用统计技术改进偏差与代表性
• 应用加权调整
• 差距分析与再加权
• 文档化

Vamos praticar!

负责任的 AI 数据管理