什麼是探索性資料分析？

Power BI 的探索式資料分析

Jacob H. Marquez

Data Scientist at Microsoft

什麼是探索性資料分析？

「一種分析資料集以摘要其主要特徵的方法，常用統計圖形與其他資料視覺化方式。」

1 https://en.wikipedia.org/wiki/Exploratory_data_analysis
Power BI 的探索式資料分析

EDA 六步驟

  1. 了解資料結構

  2. 辨識遺漏值

  3. 以描述統計與分佈描述資料

  4. 找出離群值

  5. 檢視並量化變數間關係

  6. 形成假設

Power BI 的探索式資料分析

EDA 六步驟

  1. 了解資料結構

  2. 辨識遺漏值

  3. 以描述統計與分佈描述資料

  4. 找出離群值

  5. 檢視並量化變數間關係

  6. 形成假設

Power BI 的探索式資料分析

1. 了解資料結構

連續型

數值變數，常可取無限多個值

  • 太空中的恆星數
  • 點擊率
  • 兩城市之間的距離

類別型

非數值，多為文字，分成兩組以上

  • 房屋型態
  • 國家
  • 公司
Power BI 的探索式資料分析

2. 辨識遺漏值

 

隨機遺漏（Missing at random）

一個 9×4 的矩陣，三列為一組，共三個城市：Seattle、New York City、Paris。30 個降雨量數值格中有 6 個在三組中隨機空白。

 

非隨機遺漏（Missing not at random）

一個 9×4 的矩陣，三列為一組，共三個城市：Seattle、New York City、Paris。30 個降雨量數值格中有 4 個只在 Seattle 組內隨機空白。

Power BI 的探索式資料分析

2. 處理遺漏值

 

一個 9×4 的矩陣，三列為一組，共三個城市：Seattle、New York City、Paris。30 個降雨量數值格中有 4 個只在 Seattle 組內隨機空白。

相同 9×4 矩陣，但移除最上方一列，表示刪除空白值。

相同 9×4 矩陣，但最上方一列已填入數值，表示以中位數補值。

Power BI 的探索式資料分析

3. 描述資料

  • 最小值
  • 最大值
  • 平均數：總和除以觀測數
  • 中位數：落在範圍中央的值
  • 標準差：各資料點與平均數的平均差距
Power BI 的探索式資料分析

3. 以分佈描述資料。

身高直方圖，x 軸為身高，y 軸為該身高的觀測數。

  • 中位數與平均數相同
  • 對稱曲線
Power BI 的探索式資料分析

3. 以分佈描述資料

家戶收入直方圖，x 軸為收入，y 軸為觀測數。左寬右窄，向右延伸。

  • 中位數 < 平均數
  • 「右偏」：尾巴在右側

上網時間直方圖，x 軸為時間，y 軸為觀測數。左窄右寬，向左延伸。

  • 中位數 > 平均數
  • 「左偏」：尾巴在左側
Power BI 的探索式資料分析

資料集：AirBnB 房源

airbnb 資料集的圖片，含五欄：listing_id、host_id、host_since（日期欄）、city、price。

Power BI 的探索式資料分析

一起來練習吧！

Power BI 的探索式資料分析

Preparing Video For Download...