分析遺漏程度

在 Python 中處理遺漏值

Suraj Donthi

Deep Learning & Computer Vision Consultant

載入 Air Quality 資料集

Air Quality 資料集

  • 包含 Ozone、Solar、Temperature 與 Wind 的感測資料
df_air = pd.read_csv('air-quality.csv', 
                            parse_dates=['Date'], 
                            index_col='Date')

df_air.head()

              Ozone  Solar  Wind  Temp
Date                                
1976-05-01   41.0  190.0   7.4    67
1976-05-02   36.0  118.0   8.0    72
1976-05-03   12.0  149.0  12.6    74
1976-05-04   18.0  313.0  11.5    62
1976-05-05    NaN    NaN  14.3    56
在 Python 中處理遺漏值

遺漏布林表（Nullity DataFrame）

  • 在 DataFrame 上使用 .isnull() 或 .isna() 方法
airquality_nullity = airquality.isnull()
airquality_nullity.head()

            Ozone  Solar   Wind   Temp
Date                                  
1976-05-01  False  False  False  False
1976-05-02  False  False  False  False
1976-05-03  False  False  False  False
1976-05-04  False  False  False  False
1976-05-05   True   True  False  False
在 Python 中處理遺漏值

遺漏值總數

airquality_nullity.sum()

Ozone    37
Solar     7
Wind      0
Temp      0
dtype: int64
在 Python 中處理遺漏值

遺漏百分比

airquality_nullity.mean() * 100

Ozone    24.183007
Solar     4.575163
Wind      0.000000
Temp      0.000000
dtype: float64
在 Python 中處理遺漏值

遺漏長條圖（Nullity Bar）

Missingno 套件

  • 用於遺漏值的圖形化分析
import missingno as msno

msno.bar(airquality)

Air Quality 資料集的遺漏值長條圖

在 Python 中處理遺漏值

遺漏矩陣（Nullity Matrix）

msno.matrix(airquality)

Air Quality 資料集的遺漏矩陣

在 Python 中處理遺漏值

遺漏矩陣（Nullity Matrix）

msno.matrix(airquality)

Air Quality 資料集的遺漏矩陣

在 Python 中處理遺漏值

遺漏矩陣（Nullity Matrix）

msno.matrix(airquality)

Air Quality 資料集的遺漏矩陣

在 Python 中處理遺漏值

遺漏矩陣（Nullity Matrix）

msno.matrix(airquality)

Air Quality 資料集的遺漏矩陣

在 Python 中處理遺漏值

時間序列的遺漏矩陣

msno.matrix(airquality, freq='M')

Air Quality 資料集的遺漏矩陣（每月頻率）

在 Python 中處理遺漏值

時間序列的遺漏矩陣

msno.matrix(airquality, freq='M')

Air Quality 資料集的遺漏矩陣（每月頻率）

在 Python 中處理遺漏值

微調矩陣

msno.matrix(airquality.loc['May-1976': 'Jul-1976'], freq='M')

Air Quality 資料集的遺漏矩陣（每月頻率）

在 Python 中處理遺漏值

重點整理

本課你學會分析

  • 以數值檢視遺漏程度
  • 以圖形檢視遺漏程度
  • 遺漏百分比
  • 一般資料集的遺漏矩陣
  • 時間序列資料的遺漏矩陣
在 Python 中處理遺漏值

一起來練習吧！

在 Python 中處理遺漏值

Preparing Video For Download...