遺漏資料與插補

Power BI 中的 Python 入門

Jacob H. Marquez

Data Scientist

什麼是遺漏資料？

常見的「遺漏」值：

  • null
  • NA
  • 99
  • ""
Power BI 中的 Python 入門

什麼是遺漏資料？

常見的「遺漏」值：

  • null
  • NA
  • 99
  • ""
entity year fished
Australia 1988 153148
Australia 1989 null
Australia 1990 567895
Australia 1991 632987
Australia 1992 643578
Australia 1993 null
Power BI 中的 Python 入門

為何會有遺漏？

  • 受試者在問卷中忘記或拒絕作答
  • 受試者未參與研究的第二階段
  • 量測儀器發生故障
  • 隱私法規限制資料使用
Power BI 中的 Python 入門

是隨機遺漏嗎？

隨機遺漏（MAR）

三個城市（西雅圖、紐約、巴黎）以英吋表示的降雨量表格。

Power BI 中的 Python 入門

是隨機遺漏嗎？

非隨機遺漏（MNAR）

三個城市（西雅圖、紐約、巴黎）以英吋表示的降雨量表格。其中西雅圖有一列遺漏。

Power BI 中的 Python 入門

是隨機遺漏嗎？

非隨機遺漏（MNAR）

三個城市（西雅圖、紐約、巴黎）以英吋表示的降雨量表格。其中西雅圖有一列遺漏。

  • 儀器無法偵測過低讀值
  • 某些族群不願揭露資訊
Power BI 中的 Python 入門

如何處理遺漏資料？

非隨機遺漏

  • 暫停分析
  • 釐清遺漏原因
  • 蒐集更多資料
  • 清楚記錄限制與假設

隨機遺漏

  • 刪除觀測值
  • 加入遺漏指標變數：遺漏為 1，否則為 0
  • 插補
Power BI 中的 Python 入門

插補

定義：以其他值替換遺漏值。

插補類型：

  • 平均數
  • 中位數
  • 眾數
  • 前一個或下一個值

當欄位遺漏不超過 5% 最適合。

記得先排序值！

Power BI 中的 Python 入門

插補：範例

隨機遺漏

三個城市（西雅圖、紐約、巴黎）以英吋表示的降雨量表格，含遺漏觀測。

中位數插補

三個城市（西雅圖、紐約、巴黎）以英吋表示的降雨量表格。以各城市中位數填補遺漏。

Power BI 中的 Python 入門

資料集

Invoice StockCode Description Quantity InvoiceDate Price Customer ID
506303 PADS PADS TO MATCH ALL CUSHIONS 1 4/29/2010 10:43:00 AM 0.001 14249
496725 M Manual 1 2/3/2010 2:16:00 PM 1.5 13619
502660 M Manual 6 3/25/2010 5:18:00 PM 1.5 13187
509669 90214S LETTER "S" BLING KEY RING 10 12/13/2009 3:54:00 PM 1.25 16725
Power BI 中的 Python 入門

一起來練習吧！

Power BI 中的 Python 入門

Preparing Video For Download...