数据库与质量检查

走近 Decision Science

Howard Friedman

Adjunct Professor at Columbia University

数据源分诊

数据价值不尽相同

  • 有些数据集需大量清洗或缺少有效特征
  • 有些可能完全不值得投入

 

数据分诊可快速定优先级

  • 先判定数据集是否可行，再投入时间与资源

从可用性开始

  • 数据是否易获取，是否在付费墙后
  • 是否有权限或安全限制
  • 及早解决可避免浪费精力

分诊流程图

走近 Decision Science

关键检查点

考虑成本

  • 是否有许可或访问费用
  • 是否需支付存储或专用工具费用

评估效用

  • 数据集是否包含分析所需内容
  • 检查范围、粒度、完整性与特征相关性

检查更新频率

  • 实时预测需实时或定期更新的数据
  • 更新节奏不匹配会让数据不可用

评估地理分辨率

  • 是否匹配分析所需空间层级
  • 若需邮编级别，全国数据无助益
走近 Decision Science

数据质量检查

数据质量很重要

  • 劣质数据会毁掉模型并导致错误决策
  • "垃圾进，垃圾出"在决策科学中真实存在

GIGO 图示

关注缺失情况

  • 各列缺失值占比
  • 是否存在反映采集问题的模式

做基本范围检查

  • 是否有与情境不符的取值
  • 例如：age = 450 或 price = -$10
  • 用检查提早标记重大问题
走近 Decision Science

更多检查

审查异常值

  • 用直方图或箱线图可视化
  • 排除前先与相关方讨论

评估时效性

  • 数据是否足够新，仍具相关性
  • 变化快的场景需频繁更新的数据

确保格式一致

  • 留意日期格式不一、拼写问题或列名不一致
  • 清洗并标准化，避免分析中出错

质量保证图示

走近 Decision Science

Passons à la pratique !

走近 Decision Science

Preparing Video For Download...