Generación de features

Ingeniería de características con PySpark

John Hogue

Lead Data Scientist

¿Por qué generar nuevos features?

Generación

Multiplicar

Sumar

Diferenciar

Dividir

Longitud: ajuste lineal

Ancho: ajuste lineal

Multiplicación

# Creating a new feature, area by multiplying
df = df.withColumn('TSQFT', (df['WIDTH'] * df['LENGTH']))

Área: ajuste lineal

# Sum two columns
df = df.withColumn('TSQFT', (df['SQFTBELOWGROUND'] + df['SQFTABOVEGROUND']))

# Divide two columns
df = df.withColumn('PRICEPERTSQFT', (df['LISTPRICE'] / df['TSQFT']))

# Difference two columns
df = df.withColumn('DAYSONMARKET', datediff('OFFMARKETDATE', 'LISTDATE'))

Automatización de features

Imagen futurista

Ingeniería de características con PySpark