数据清洗

数据仓库概念

Aaren Stubberfield

Data Scientist

视频提纲

• 数据格式修订
• 地址解析
• 数据验证
• 去重

数据格式清理

• 将值更新为预期格式
  • 日期
  • 选项名称
  • 大小写
• 确保输出格式一致

出租车数据示例

地址解析

• 将街道地址拆分为各组成部分
• 可用工具校验地址

地址
1234 S Normal St, Cleveland, OH 44102

地址	城市	州	邮编
1234 S Normal St	Cleveland	OH	44102

数据验证

• 范围检查
  • 值是否在预期范围内？
  • 例如：人的年龄

• 类型检查
  • 值是否为正确的数据类型？
  • 例如：年龄存为字符串 vs 数字

删除重复行

• 此过程去除重复行

数据治理

Passons à la pratique !

数据仓库概念