分佈與離群值

Power BI 的探索式資料分析

Jacob H. Marquez

Data Scientist at Microsoft

什麼是分佈？

定義：變數所有可能取值及其對應頻率的集合。

什麼是分佈？

連續型

Age	Frequency
18	7
19	11
20	13
21	19
22	12

什麼是分佈？

連續型

Age	Frequency
18	7
19	11
20	13
21	19
22	12

類別型

Hair Color	Frequency
Blonde	30
Brown	50
Black	40
Red	20
Grey	20

什麼是直方圖？

一張身高直方圖，x 軸為身高，y 軸為該身高的觀測次數。直方圖中央大量集中，兩側有細長尾巴。

直方圖是什麼？— 分箱

100 個分箱的直方圖

一張身高直方圖，x 軸為身高，y 軸為觀測次數。使用 100 個分箱，圖形更平滑、細節更多。

20 個分箱的直方圖

一張身高直方圖，x 軸為身高，y 軸為觀測次數。分箱較少時，圖形較生硬、像盒狀。

讀直方圖：集中與偏態

一張身高直方圖，x 軸為身高，y 軸為觀測次數。中央大量集中，兩端較少。

常態分佈

一張身高直方圖，x 軸為身高，y 軸為觀測次數。左側大量集中，往右逐漸收窄。

右偏分佈

讀直方圖：離散程度

標準差較大

一張身高直方圖，x 軸為身高，y 軸為觀測次數。中央集中，兩端較少。

標準差較小

一張身高直方圖，x 軸為身高，y 軸為觀測次數。分佈較窄，近似尖塔狀，表示標準差小。

讀直方圖：百分位數

一張身高直方圖，x 軸為身高，y 軸為觀測次數。從中央到左側有綠色陰影，代表第 50 百分位。

讀直方圖：第 25 與 75 百分位

一張身高直方圖，x 軸為身高，y 軸為觀測次數。從第 25 百分位往左與第 75 百分位往右各有綠色陰影。

讀直方圖：四分位距

一張身高直方圖，x 軸為身高，y 軸為觀測次數。第 25 到第 75 百分位之間以綠色陰影標示，代表四分位距。

什麼是離群值？

一張身高直方圖，x 軸為身高，y 軸為觀測次數。兩端綠色陰影區域標示可能的離群值。

找出離群值

使用標準差

$lower = -3 * SD$

$upper = 3 * SD$

當下列情況為離群值

$value < lower$ OR $value > upper$

四分位距（IQR）

$lower = 25percentile-(1.5 * IQR)$

$upper = 75percentile+(1.5 * IQR)$

當下列情況為離群值

$value < lower$ OR $value > upper$

處理離群值

刪除觀測值
補值（插補）

溫莎化（Winsorizing）

IF value < 5th percentile THEN value = 5th percentile

IF value > 95th percentile THEN value = 95th percentile

一起來練習吧！

Power BI 的探索式資料分析