数据是否随机缺失？

在 Python 中处理缺失数据

Suraj Donthi

Deep Learning & Computer Vision Consultant

数据缺失的可能原因

注意 $-$（variable $\rightarrow$ 数据字段或 DataFrame 列）

• 在某变量的时间点或区间内随机缺失
• 因其他变量导致缺失
• 因本变量或其他变量的缺失而缺失

缺失类型

1. 完全随机缺失（MCAR）
2. 随机缺失（MAR）
3. 非随机缺失（MNAR）

完全随机缺失（MCAR）

定义：

"缺失与任何取值（观测或缺失）均无关系"

MCAR - 示例

msno.matrix(diabetes)

随机缺失（MAR）

定义：

"缺失与其他已观测数据存在系统性关系，但与缺失值本身无关"

MAR - 示例

msno.matrix(diabetes)

非随机缺失（MNAR）

定义：

"缺失与其自身取值（缺失或非缺失）存在关系"

MNAR - 示例

• 将 diabetes 按 Serum_Insulin 排序后的缺失模式

sorted = diabetes.sort_values('Serum_Insulin')
msno.matrix(sorted)

小结

• 可能的缺失原因
  • 完全随机缺失（MCAR），
  • 随机缺失（MAR）或
  • 非随机缺失（MNAR）
• 通过排序变量识别缺失模式
• 将缺失映射到 MCAR、MAR 与 MNAR

Passons à la pratique !

在 Python 中处理缺失数据