分布与离群值

Power BI 中的探索性数据分析

Jacob H. Marquez

Data Scientist at Microsoft

什么是分布？

【定义】：变量所有可能取值及其对应频数的集合。

什么是分布？

连续型

年龄	频数
18	7
19	11
20	13
21	19
22	12

什么是分布？

连续型

年龄	频数
18	7
19	11
20	13
21	19
22	12

分类型

发色	频数
金色	30
棕色	50
黑色	40
红色	20
灰色	20

什么是直方图？

什么是直方图？——箱数

100 个箱的直方图

20 个箱的直方图

读直方图——中心与偏态

正态分布

右偏分布

读直方图——离散度

更大的标准差

更小的标准差

读直方图——百分位数

读直方图——第 25 与第 75 百分位

读直方图——四分位距

什么是离群值？

查找离群值

使用标准差

$lower = -3 * SD$

$upper = 3 * SD$

$$

离群条件

$value < lower$ 或 $value > upper$

四分位距（IQR）

$lower = 25percentile-(1.5 * IQR)$

$upper = 75percentile+(1.5 * IQR)$

$$

离群条件

$value < lower$ 或 $value > upper$

处理离群值

1. 删除观测
2. 插补

温莎化（Winsorizing）

若 value < 第 5 百分位 则 value = 第 5 百分位

$$

若 value > 第 95 百分位 则 value = 第 95 百分位

Passons à la pratique !

Power BI 中的探索性数据分析