Generování příznaků

Feature Engineering with PySpark

John Hogue

Lead Data Scientist

Proč generovat nové příznaky?

Generování

Násobení

Sčítání

Odčítání

Dělení

Graf lineárního modelu pro délku

Graf lineárního modelu pro šířku

Násobení

# Creating a new feature, area by multiplying
df = df.withColumn('TSQFT', (df['WIDTH'] * df['LENGTH']))

Graf lineárního modelu pro plochu

# Sum two columns
df = df.withColumn('TSQFT', (df['SQFTBELOWGROUND'] + df['SQFTABOVEGROUND']))

# Divide two columns
df = df.withColumn('PRICEPERTSQFT', (df['LISTPRICE'] / df['TSQFT']))

# Difference two columns
df = df.withColumn('DAYSONMARKET', datediff('OFFMARKETDATE', 'LISTDATE'))

Automatizace příznaků

Futuristický obrázek

Feature Engineering with PySpark