什么是数据清洗与准备？

Alteryx 中的数据准备

Deanna Sanchez

Alteryx ACE and Owner, Nova Geographica LLC

为什么干净数据很重要？

GIGO："垃圾进，垃圾出"

• 清洗与准备数据可帮助您：
  • 避免失误并预防错误
  • 标准化数据与格式
  • 提升生产力
  • 加快获得洞见的速度

清洗数据就像……

给车辆做保养——用洁净部件和新油液优化车辆，性能更佳。

 

脏数据示例

• 缺失或不完整的数据

脏数据示例

• 缺失或不完整的数据
• 未标准化或不一致的数据

脏数据示例

• 缺失或不完整的数据
• 未标准化或不一致的数据
• 数据录入错误

脏数据示例

• 缺失或不完整的数据
• 未标准化或不一致的数据
• 数据录入错误
• 首尾空格、不必要的字符或标点

数据清洗技巧

处理缺失数据

• 通过填补值来标记缺失数据，例如：
  • 将字符串类型的 null 转为空白
  • 将数值类型的 null 填为 0
• 从数据流中过滤缺失数据

数据清洗技巧

数据标准化

• 确保格式一致
  • 货币前加 $
  • 000123456
• 检查字段名与文件名命名规范
  • "filename_01012004.csv"
• 调整字段中字母大小写
  • LOCATION
• 修改数据类型

数据清洗技巧

移除不必要内容

• 前后空格
• 制表符与换行
• 不需要的行或列
• 不必要的标点、字母和数字

颜色编码的剖析视图

结果窗口与"剖析"中的颜色标识可指导数据清洗技术的使用。

• 绿色 = 正常

颜色编码的剖析视图

结果窗口与"剖析"中的颜色标识可指导数据清洗技术的使用。

• 绿色 = 正常
• 白色 = 唯一

颜色编码的剖析视图

结果窗口与"剖析"中的颜色标识可指导数据清洗技术的使用。

• 绿色 = 正常
• 白色 = 唯一
• 黄色 = Null

颜色编码的剖析视图

结果窗口与"剖析"中的颜色标识可指导数据清洗技术的使用。

• 绿色 = 正常
• 白色 = 唯一
• 黄色 = Null
• 红色 = 异常（如尾随空格）

颜色编码的剖析视图

结果窗口与"剖析"中的颜色标识可指导数据清洗技术的使用。

• 绿色 = 正常
• 白色 = 唯一
• 黄色 = Null
• 红色 = 异常（如尾随空格）
• 灰色 = 空

Alteryx 的数据类型

• 了解各类数据类型很重要
  • 何时与如何使用
• 五大数据类别
  • Boolean（布尔）- 二进制格式

Alteryx 的数据类型

• 了解各类数据类型很重要
  • 何时与如何使用
• 五大数据类别
  • Boolean（布尔）- 二进制格式
  • Numeric（数值）- 数字数据，含 Double

Alteryx 的数据类型

• 了解各类数据类型很重要
  • 何时与如何使用
• 五大数据类别
  • Boolean（布尔）- 二进制格式
  • Numeric（数值）- 数字数据，含 Double
  • String（字符串）- 文本数据

¹ String，范围从 String 到 V_W String 类型。

Alteryx 的数据类型

• 了解各类数据类型很重要
  • 何时与如何使用
• 五大数据类别
  • Boolean（布尔）- 二进制格式
  • Numeric（数值）- 数字数据，含 Double
  • String（字符串）- 文本数据
  • DateTime（日期时间）- 日期与时间数据

Alteryx 的数据类型

• 了解各类数据类型很重要
  • 何时与如何使用
• 五大数据类别
  • Boolean（布尔）- 二进制格式
  • Numeric（数值）- 数字数据，含 Double
  • String（字符串）- 文本数据
  • DateTime（日期时间）- 日期与时间数据
  • Spatial（空间）- 空间对象与点

数据集详情

• Alteryx 动手练习：
  • 纽约市房产交易
  • 所有练习使用同一数据集
  • 分析最高成交额

让我们来练习！

Alteryx 中的数据准备