Särdragsgenerering

Feature Engineering med PySpark

John Hogue

Lead Data Scientist

Varför generera nya särdrag?

Generering

Multiplikation

Summering

Differens

Division

Feature Engineering med PySpark

Varför generera nya särdrag?

Plot – linjär modell för längd

Plot – linjär modell för bredd

Feature Engineering med PySpark

Kombinera två särdrag

Multiplikation

# Creating a new feature, area by multiplying
df = df.withColumn('TSQFT', (df['WIDTH'] * df['LENGTH']))

Plot – linjär modell för area

Feature Engineering med PySpark

Andra sätt att kombinera särdrag

# Sum two columns
df = df.withColumn('TSQFT', (df['SQFTBELOWGROUND'] + df['SQFTABOVEGROUND']))

# Divide two columns
df = df.withColumn('PRICEPERTSQFT', (df['LISTPRICE'] / df['TSQFT']))

# Difference two columns
df = df.withColumn('DAYSONMARKET', datediff('OFFMARKETDATE', 'LISTDATE'))
Feature Engineering med PySpark

Var går gränsen?

Automatisering av särdrag

  • FeatureTools & TSFresh
  • Explosion av särdrag
  • Högre ordning och bortom?

Futuristisk bild

Feature Engineering med PySpark

Nu är det dags att kombinera!

Feature Engineering med PySpark

Preparing Video For Download...