Génération de caractéristiques

Ingénierie des caractéristiques avec PySpark

John Hogue

Lead Data Scientist

Pourquoi générer de nouvelles caractéristiques ?

Génération

Multiplier

Additionner

Différencier

Diviser

Diagramme du modèle linéaire selon la longueur

Diagramme du modèle linéaire selon la largeur

Multiplication

# Creating a new feature, area by multiplying
df = df.withColumn('TSQFT', (df['WIDTH'] * df['LENGTH']))

Diagramme du modèle linéaire de la superficie

# Sum two columns
df = df.withColumn('TSQFT', (df['SQFTBELOWGROUND'] + df['SQFTABOVEGROUND']))

# Divide two columns
df = df.withColumn('PRICEPERTSQFT', (df['LISTPRICE'] / df['TSQFT']))

# Difference two columns
df = df.withColumn('DAYSONMARKET', datediff('OFFMARKETDATE', 'LISTDATE'))

Automatisation des caractéristiques

Image futuriste

Ingénierie des caractéristiques avec PySpark