問題の定義

PySparkで学ぶ特徴量エンジニアリング

John Hogue

Lead Data Scientist, General Mills

解くべき問題は何か？

住宅の売却価格を予測する

  • 入力：掲載価格と物件の特徴
    • $X$、独立した「既知」の変数
  • 出力：住宅の購入価格
    • $Y$、従属する「未知」の変数
    • SALESCLOSEPRICE

売却物件

PySparkで学ぶ特徴量エンジニアリング

不動産データのコンテキストと制限

  • ミネソタ州セントポール周辺の売却物件
    • 近郊の郊外を含む
  • 不動産タイプ
    • 一戸建て住宅
    • 集合住宅
  • 1年分のデータ
    • 季節性の影響を含む

セントポール（ミネソタ州）

PySparkで学ぶ特徴量エンジニアリング

利用可能な属性の種類

  • 日付
    • 掲載日
    • 建築年
  • 場所
    • 市区町村
    • 学区
    • 住所
  • サイズ
    • 寝室・浴室数
    • 居住面積
  • 価格
    • 掲載価格
    • 売買成立価格
  • 設備
    • プール
    • 暖炉
    • ガレージ
  • 建材
    • 外壁材
    • 屋根材
PySparkで学ぶ特徴量エンジニアリング

データロードの検証

  • DataFrame.count() で行数を取得
df.count()

5000
  • DataFrame.columns でカラム一覧を取得
df.columns

['No.', 'MLSID', 'StreetNumberNumeric', ... ]
  • DataFrame.columns の長さでカラム数を取得
len(df.columns)

74
PySparkで学ぶ特徴量エンジニアリング

データ型の確認

DataFrame.dtypes

  • カラムとデータ型のタプルリストを生成
df.dtypes

[('No.', 'integer'), ('MLSID', 'string'), ... ]
PySparkで学ぶ特徴量エンジニアリング

練習してみましょう！

PySparkで学ぶ特徴量エンジニアリング

Preparing Video For Download...