为何处理缺失数据？

在 Python 中处理缺失数据

Suraj Donthi

Deep Learning & Computer Vision Consultant

为何会有缺失数据？

  • 真实世界的数据往往很乱

您是否知道，72%的组织认为数据质量问题会削弱客户信任与感知？

1 [Top 9 Benefits of Data Cleansing for Businesses](https://bit.ly/2QwMrab)
在 Python 中处理缺失数据

为何会有缺失数据？

  • 采集过程中遗漏取值
    • 天气分析中的故障传感器
    • 医疗诊断中的病人信息不全等
  • 被意外删除
    • 数据丢失
    • 人为误删
在 Python 中处理缺失数据

本课程您将学习

  • 处理缺失值的重要性
  • 在脏数据中检测缺失值
  • 分析缺失类型
  • 针对性处理：
    • 数值型
    • 时间序列
    • 分类型
在 Python 中处理缺失数据

本课程您将学习

  • 使用简单方法插补（替换）缺失值
  • 使用高级方法插补
  • 最终评估最佳的缺失值处理方法
在 Python 中处理缺失数据

缺失值处理流程

  1. 将所有缺失值统一为 null。
  2. 分析缺失量与缺失类型。
  3. 适当删除或插补缺失值。
  4. 评估并比较处理/插补后的数据集性能。
在 Python 中处理缺失数据

空值运算

None

None or True # Same for False

True

None + True # For all operators

TypeError: unsupported operand

None / 3 # For all operators

TypeError: unsupported operand

type(None)

NoneType

np.nan

import numpy as np
np.nan or True  # Same for False

nan

np.nan * True # For all operators

nan

np.nan - 3 # For all operators

nan

type(np.nan)

float
在 Python 中处理缺失数据

空值运算

None

None == None

True

np.isnan(None)

False

np.nan

np.nan == np.nan

False

np.isnan(np.nan)

True
在 Python 中处理缺失数据

Passons à la pratique !

在 Python 中处理缺失数据

Preparing Video For Download...