定义问题

使用 PySpark 进行特征工程

John Hogue

Lead Data Scientist, General Mills

你的问题是什么？

预测房屋售价

  • 已知挂牌价和特征
    • $X$：自变量、已知变量
  • 该出多少钱购房
    • $Y$：因变量、未知变量
    • SALESCLOSEPRICE

待售房屋

使用 PySpark 进行特征工程

房产数据的背景与限制

  • 明尼苏达州圣保罗地区的已售房
    • 含多个郊区
  • 房地产类型
    • 住宅-独栋
    • 住宅-多户
  • 完整年度数据
    • 体现季节性影响

圣保罗，明尼苏达

使用 PySpark 进行特征工程

可用的属性类型有哪些？

  • 日期
    • 挂牌日期
    • 建造年份
  • 位置
    • 城市
    • 学区
    • 地址
  • 面积
    • 卧室与浴室数量
    • 居住面积
  • 价格
    • 挂牌价
    • 成交价
  • 配套
    • 游泳池
    • 壁炉
    • 车库
  • 建材
    • 外墙饰面
    • 屋顶
使用 PySpark 进行特征工程

验证数据加载

  • 用 DataFrame.count() 获取行数
df.count()

5000
  • 用 DataFrame.columns 查看列名列表
df.columns

['No.', 'MLSID', 'StreetNumberNumeric', ... ]
  • DataFrame.columns 的长度即列数
len(df.columns)

74
使用 PySpark 进行特征工程

检查数据类型

DataFrame.dtypes

  • 生成列与其数据类型的列表（元组）
df.dtypes

[('No.', 'integer'), ('MLSID', 'string'), ... ]
使用 PySpark 进行特征工程

Passons à la pratique !

使用 PySpark 进行特征工程

Preparing Video For Download...