문제 정의

PySpark로 하는 Feature Engineering

John Hogue

Lead Data Scientist, General Mills

어떤 문제를 다루나요?

주택 판매 가격 예측

  • 매물 가격 및 특성 제공
    • $X$, 독립 '알려진' 변수
  • 주택 매입 가격 결정
    • $Y$, 종속 '미지' 변수
    • SALESCLOSEPRICE

매매 주택

PySpark로 하는 Feature Engineering

부동산 데이터의 맥락 및 한계

  • 세인트폴, MN 지역 주택 매매
    • 인근 교외 지역 포함
  • 부동산 유형
    • 단독 주택
    • 다가구 주택
  • 1년치 데이터
    • 계절성 영향 반영

세인트폴, MN

PySpark로 하는 Feature Engineering

어떤 속성들이 제공되나요?

  • 날짜
    • 매물 등록일
    • 건축 연도
  • 위치
    • 도시
    • 학군
    • 주소
  • 규모
    • 침실 및 욕실 수
    • 거주 면적
  • 가격
    • 매물 가격
    • 거래 완료 가격
  • 편의시설
    • 수영장
    • 벽난로
    • 차고
  • 건축 자재
    • 외장재
    • 지붕재
PySpark로 하는 Feature Engineering

데이터 로드 검증

  • DataFrame.count() 로 행 수 확인
df.count()

5000
  • DataFrame.columns 로 컬럼 목록 확인
df.columns

['No.', 'MLSID', 'StreetNumberNumeric', ... ]
  • DataFrame.columns 의 길이로 컬럼 수 확인
len(df.columns)

74
PySpark로 하는 Feature Engineering

데이터 타입 확인

DataFrame.dtypes

  • 컬럼과 데이터 타입의 튜플 목록 생성
df.dtypes

[('No.', 'integer'), ('MLSID', 'string'), ... ]
PySpark로 하는 Feature Engineering

연습해 봅시다!

PySpark로 하는 Feature Engineering

Preparing Video For Download...