特徵產生

使用 PySpark 進行特徵工程

John Hogue

Lead Data Scientist

為什麼要產生新特徵？

產生

相乘

相加

相減

相除

使用 PySpark 進行特徵工程

為什麼要產生新特徵？

長度線性模型圖

寬度線性模型圖

使用 PySpark 進行特徵工程

合併兩個特徵

乘法

# Creating a new feature, area by multiplying
df = df.withColumn('TSQFT', (df['WIDTH'] * df['LENGTH']))

面積線性模型圖

使用 PySpark 進行特徵工程

合併兩個特徵的其他方法

# Sum two columns
df = df.withColumn('TSQFT', (df['SQFTBELOWGROUND'] + df['SQFTABOVEGROUND']))

# Divide two columns
df = df.withColumn('PRICEPERTSQFT', (df['LISTPRICE'] / df['TSQFT']))

# Difference two columns
df = df.withColumn('DAYSONMARKET', datediff('OFFMARKETDATE', 'LISTDATE'))
使用 PySpark 進行特徵工程

極限在哪裡？

特徵自動化

  • FeatureTools 與 TSFresh
  • 特徵爆增
  • 更高階與其後？

未來感圖片

使用 PySpark 進行特徵工程

出發去組合吧！

使用 PySpark 進行特徵工程

Preparing Video For Download...