Génération de features

Feature Engineering avec PySpark

John Hogue

Lead Data Scientist

Pourquoi générer de nouvelles features ?

Génération

Multiplier

Additionner

Différencier

Diviser

Feature Engineering avec PySpark

Pourquoi générer de nouvelles features ?

Graphique modèle linéaire longueur

Graphique modèle linéaire largeur

Feature Engineering avec PySpark

Combiner deux features

Multiplication

# Creating a new feature, area by multiplying
df = df.withColumn('TSQFT', (df['WIDTH'] * df['LENGTH']))

Graphique modèle linéaire surface

Feature Engineering avec PySpark

Autres façons de combiner deux features

# Sum two columns
df = df.withColumn('TSQFT', (df['SQFTBELOWGROUND'] + df['SQFTABOVEGROUND']))

# Divide two columns
df = df.withColumn('PRICEPERTSQFT', (df['LISTPRICE'] / df['TSQFT']))

# Difference two columns
df = df.withColumn('DAYSONMARKET', datediff('OFFMARKETDATE', 'LISTDATE'))
Feature Engineering avec PySpark

Quelle est la limite ?

Automatisation des features

  • FeatureTools & TSFresh
  • Explosion de features
  • Ordres supérieurs et au-delà ?

Image futuriste

Feature Engineering avec PySpark

Allez-y, combinez !

Feature Engineering avec PySpark

Preparing Video For Download...