定義問題

使用 PySpark 進行特徵工程

John Hogue

Lead Data Scientist, General Mills

你的問題是什麼？

預測房屋成交價

  • 已知掛牌價與特徵
    • $X$，獨立的「已知」變數
  • 應該出多少價購屋
    • $Y$，依賴的「未知」變數
    • SALESCLOSEPRICE

待售房屋

使用 PySpark 進行特徵工程

不動產的脈絡與限制

  • 聖保羅（MN）地區成交屋
    • 含多個郊區
  • 不動產類型
    • 住宅－單戶
    • 住宅－多戶
  • 完整一年度資料
    • 可觀察季節性影響

聖保羅（MN）

使用 PySpark 進行特徵工程

有哪些屬性可用？

  • 日期
    • 掛牌日期
    • 建造年份
  • 地點
    • 城市
    • 學區
    • 地址
  • 坪數/規模
    • 臥室、衛浴數
    • 室內面積
  • 價格
    • 掛牌價
    • 成交價
  • 設施
    • 游泳池
    • 壁爐
    • 車庫
  • 建材
    • 外牆材料
    • 屋頂
使用 PySpark 進行特徵工程

驗證資料載入

  • 使用 DataFrame.count() 取得列數
df.count()

5000
  • 用 DataFrame.columns 檢視欄位清單
df.columns

['No.', 'MLSID', 'StreetNumberNumeric', ... ]
  • 以 DataFrame.columns 的長度得知欄位數
len(df.columns)

74
使用 PySpark 進行特徵工程

檢查資料型別

DataFrame.dtypes

  • 產生欄位與其資料型別的配對
df.dtypes

[('No.', 'integer'), ('MLSID', 'string'), ... ]
使用 PySpark 進行特徵工程

一起來練習吧！

使用 PySpark 進行特徵工程

Preparing Video For Download...