Tạo đặc trưng

Feature Engineering với PySpark

John Hogue

Lead Data Scientist

Vì sao tạo đặc trưng mới?

Sinh đặc trưng

Nhân

Cộng

Lấy hiệu

Chia

Biểu đồ mô hình tuyến tính theo chiều dài

Biểu đồ mô hình tuyến tính theo chiều rộng

Phép nhân

# Tạo đặc trưng mới: diện tích bằng phép nhân
df = df.withColumn('TSQFT', (df['WIDTH'] * df['LENGTH']))

Biểu đồ mô hình tuyến tính theo diện tích

# Cộng hai cột
df = df.withColumn('TSQFT', (df['SQFTBELOWGROUND'] + df['SQFTABOVEGROUND']))

# Chia hai cột
df = df.withColumn('PRICEPERTSQFT', (df['LISTPRICE'] / df['TSQFT']))

# Lấy hiệu hai cột
df = df.withColumn('DAYSONMARKET', datediff('OFFMARKETDATE', 'LISTDATE'))

Tự động hóa đặc trưng

Hình ảnh tương lai

Feature Engineering với PySpark