特征生成

使用 PySpark 进行特征工程

John Hogue

Lead Data Scientist

为何生成新特征？

生成

相乘

相加

求差

相除

使用 PySpark 进行特征工程

为何生成新特征？

长度线性模型图

宽度线性模型图

使用 PySpark 进行特征工程

组合两个特征

乘法

# Creating a new feature, area by multiplying
df = df.withColumn('TSQFT', (df['WIDTH'] * df['LENGTH']))

面积线性模型图

使用 PySpark 进行特征工程

组合两个特征的其他方法

# Sum two columns
df = df.withColumn('TSQFT', (df['SQFTBELOWGROUND'] + df['SQFTABOVEGROUND']))

# Divide two columns
df = df.withColumn('PRICEPERTSQFT', (df['LISTPRICE'] / df['TSQFT']))

# Difference two columns
df = df.withColumn('DAYSONMARKET', datediff('OFFMARKETDATE', 'LISTDATE'))
使用 PySpark 进行特征工程

边界在哪里？

特征自动化

  • FeatureTools 与 TSFresh
  • 特征爆炸
  • 更高阶，甚至更远？

未来感图片

使用 PySpark 进行特征工程

去组合吧！

使用 PySpark 进行特征工程

Preparing Video For Download...