Özellik Oluşturma

PySpark ile Özellik Mühendisliği

John Hogue

Lead Data Scientist

Neden yeni özellikler oluşturulur?

Oluşturma

Çarpma

Toplama

Fark Alma

Bölme

Uzunluk Doğrusal Model Grafiği

Genişlik Doğrusal Model Grafiği

Çarpma

# Yeni bir özellik oluşturma: çarparak alan
df = df.withColumn('TSQFT', (df['WIDTH'] * df['LENGTH']))

Alan Doğrusal Model Grafiği

# İki sütunu topla
df = df.withColumn('TSQFT', (df['SQFTBELOWGROUND'] + df['SQFTABOVEGROUND']))

# İki sütunu böl
df = df.withColumn('PRICEPERTSQFT', (df['LISTPRICE'] / df['TSQFT']))

# İki sütunun farkı
df = df.withColumn('DAYSONMARKET', datediff('OFFMARKETDATE', 'LISTDATE'))

Özelliklerin Otomasyonu

Gelecekçi Görsel

PySpark ile Özellik Mühendisliği