특성 생성

PySpark로 하는 Feature Engineering

John Hogue

Lead Data Scientist

왜 새 특성을 만드나요?

생성

곱하기

더하기

차이 구하기

나누기

PySpark로 하는 Feature Engineering

왜 새 특성을 만드나요?

길이 선형모형 그래프

너비 선형모형 그래프

PySpark로 하는 Feature Engineering

두 특성 결합하기

곱셈

# Creating a new feature, area by multiplying
df = df.withColumn('TSQFT', (df['WIDTH'] * df['LENGTH']))

면적 선형모형 그래프

PySpark로 하는 Feature Engineering

두 특성을 결합하는 다른 방법

# Sum two columns
df = df.withColumn('TSQFT', (df['SQFTBELOWGROUND'] + df['SQFTABOVEGROUND']))

# Divide two columns
df = df.withColumn('PRICEPERTSQFT', (df['LISTPRICE'] / df['TSQFT']))

# Difference two columns
df = df.withColumn('DAYSONMARKET', datediff('OFFMARKETDATE', 'LISTDATE'))
PySpark로 하는 Feature Engineering

한계는 어디까지?

특성 자동화

  • FeatureTools & TSFresh
  • 특성 폭증
  • 고차 변환 그 이상?

미래지향적 이미지

PySpark로 하는 Feature Engineering

이제 결합해 보세요!

PySpark로 하는 Feature Engineering

Preparing Video For Download...