数据准备

数据科学概览

Hadrien Lacroix

Content Developer, DataCamp

数据工作流

数据科学工作流

数据科学概览

为何准备数据？

  • 真实世界数据很乱
  • 预处理可避免：
    • 错误
    • 结果不准
    • 算法偏差

准备汤

数据科学概览

开始清洗数据

Sara Lis Hadrien Lis
Age "27" "30" "30"
Size 1.77 5.58 1.80 5.58
Country "Belgium" "USA" "FR" "USA"

刮刀清洁窗户

数据科学概览

整洁数据

之前

$$

Sara Lis Hadrien Lis
Age "27" "30" "30"
Size 1.77 5.58 1.80 5.58
Country "Belgium" "USA" "FR" "USA"

叠好的衣物

数据科学概览

整洁数据输出

之前

$$

Sara Lis Hadrien Lis
Age "27" "30" "30"
Size 1.77 5.58 1.80 5.58
Country "Belgium" "USA" "FR" "USA"

之后

$$

Name Age Size Country
Sara "26" 1.78 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"
Lis "30" 5.58 "USA"
数据科学概览

去重

之前

$$

Name Age Size Country
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"
Lis "30" 5.58 "USA"

双生樱桃

数据科学概览

去重 | 输出

之前

$$

Name Age Size Country
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"
Lis "30" 5.58 "USA"

之后

$$

Name Age Size Country
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"
数据科学概览

唯一 ID

之前

$$

Name Age Size Country
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"

紫色鸭与黄色鸭

数据科学概览

唯一 ID | 输出

之前

$$

Name Age Size Country
Sara "27" 1.77 "Belgium"
Lis "30" 5.58 "USA"
Hadrien 1.80 "FR"

之后

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 5.58 "USA"
2 Hadrien 1.80 "FR"
数据科学概览

同质性

之前

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 5.58 "USA"
2 Hadrien 1.80 "FR"

小金鱼对着大金鱼

数据科学概览

同质性 | 输出

之前

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 5.58 "USA"
2 Hadrien 1.80 "FR"

之后

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 1.70 "USA"
2 Hadrien 1.80 "FR"
数据科学概览

再次同质化

之前

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 1.70 "USA"
2 Hadrien 1.80 "FR"

比利时国旗

数据科学概览

再次同质化 | 输出

之前

$$

ID Name Age Size Country
0 Sara "27" 1.77 "Belgium"
1 Lis "30" 1.70 "US"
2 Hadrien 1.80 "FR"

之后

$$

ID Name Age Size Country
0 Sara "27" 1.77 "BE"
1 Lis "30" 1.70 "US"
2 Hadrien 1.80 "FR"
数据科学概览

数据类型

之前

$$

ID Name Age Size Country
0 Sara "27" 1.77 "BE"
1 Lis "30" 1.70 "US"
2 Hadrien 1.80 "FR"

不同种类的意面

数据科学概览

数据类型 | 输出

之前

$$

ID Name Age Size Country
0 Sara "27" 1.77 "BE"
1 Lis "30" 1.70 "US"
2 Hadrien 1.80 "FR"

之后

$$

ID Name Age Size Country
0 Sara 27 1.77 "BE"
1 Lis 30 1.70 "US"
2 Hadrien 1.80 "FR"
数据科学概览

缺失值

之前

$$

ID Name Age Size Country
0 Sara 27 1.77 "BE"
1 Lis 30 1.70 "US"
2 Hadrien 1.80 "FR"

原因：

  • 数据录入
  • 错误
  • 合法缺失值

处理：

  • 插补
  • 删除
  • 保留
数据科学概览

缺失值 | 输出

之前

$$

ID Name Age Size Country
0 Sara 27 1.77 "BE"
1 Lis 30 1.70 "USA"
2 Hadrien 1.80 "FR"

之后

$$

ID Name Age Size Country
0 Sara 27 1.77 "BE"
1 Lis 30 1.70 "US"
2 Hadrien 28 1.80 "FR"
数据科学概览

¡Vamos a practicar!

数据科学概览

Preparing Video For Download...