常见数据问题

Data Literacy 入门

Anneleen Rummens

Data Scientist

脏数据

• 脏数据指：

  • 不正确
  • 不完整
  • 不一致

• 由人为失误、技术问题或采集流程问题导致

• 垃圾进，垃圾出：脏数据会造成错误结论

数据错误

• 数据不正确或不一致
• 通常由记录数值或格式时的人为/技术错误引起
• 应对方法：
  • 若已知原值或合法格式：纠正数据
  • 若未知：删除数据

缺失数据

• 数据不完整
• 问题在于：
  • 缺失值很多
  • 缺失存在潜在模式
• 应对方法：
  • 删除数据
  • 插补

数据偏见

• 社会偏见会反映到数据中，成为数据偏见
• 导致数据与结果不具代表性
• 难以发现与解决
• 应对方法：
  • 规范的数据收集流程
  • 在结论中保持警觉
  • 可解释的AI模型

数据清洗

• 一组应对数据问题的技术
• 任何数据分析的重要准备步骤
• 但并非所有问题都可（完全）解决
• 仍然总能进行某种分析

让我们来练习！

Data Literacy 入门