特徴量生成

PySparkで学ぶ特徴量エンジニアリング

John Hogue

Lead Data Scientist

新しい特徴量を作る理由

生成

乗算

加算

差分

除算

PySparkで学ぶ特徴量エンジニアリング

新しい特徴量を作る理由

長さの線形モデルのプロット

幅の線形モデルのプロット

PySparkで学ぶ特徴量エンジニアリング

2 つの特徴量を組み合わせる

【乗算】

# Creating a new feature, area by multiplying
df = df.withColumn('TSQFT', (df['WIDTH'] * df['LENGTH']))

面積の線形モデルのプロット

PySparkで学ぶ特徴量エンジニアリング

2 つの特徴量の他の組み合わせ方

# Sum two columns
df = df.withColumn('TSQFT', (df['SQFTBELOWGROUND'] + df['SQFTABOVEGROUND']))

# Divide two columns
df = df.withColumn('PRICEPERTSQFT', (df['LISTPRICE'] / df['TSQFT']))

# Difference two columns
df = df.withColumn('DAYSONMARKET', datediff('OFFMARKETDATE', 'LISTDATE'))
PySparkで学ぶ特徴量エンジニアリング

限界はどこ？

特徴量の自動化

  • FeatureTools と TSFresh
  • 特徴量の爆発
  • 高次化とその先？

未来的な画像

PySparkで学ぶ特徴量エンジニアリング

どんどん組み合わせよう！

PySparkで学ぶ特徴量エンジニアリング

Preparing Video For Download...