Xác định vấn đề

Feature Engineering với PySpark

John Hogue

Lead Data Scientist, General Mills

Vấn đề của bạn là gì?

Dự đoán giá bán của một ngôi nhà

  • Cho trước giá niêm yết và các đặc điểm
    • $X$, biến độc lập "đã biết"
  • Mua căn nhà với giá bao nhiêu
    • $Y$, biến phụ thuộc "chưa biết"
    • SALESCLOSEPRICE

Nhà rao bán

Feature Engineering với PySpark

Bối cảnh & giới hạn của bộ dữ liệu bất động sản

  • Nhà đã bán ở khu vực St Paul, MN
    • Gồm một số vùng ngoại ô
  • Loại bất động sản
    • Nhà ở - Đơn hộ
    • Nhà ở - Nhiều hộ
  • Dữ liệu cả năm
    • Ảnh hưởng của tính mùa vụ

St Paul, MN

Feature Engineering với PySpark

Có những thuộc tính nào?

  • Ngày tháng
    • Ngày đăng bán
    • Năm xây dựng
  • Vị trí
    • Thành phố
    • Học khu
    • Địa chỉ
  • Kích thước
    • Số phòng ngủ & phòng tắm
    • Diện tích sử dụng
  • Giá
    • Giá niêm yết
    • Giá chốt bán
  • Tiện ích
    • Hồ bơi
    • Lò sưởi
    • Nhà để xe
  • Vật liệu xây dựng
    • Vách ngoài
    • Mái
Feature Engineering với PySpark

Xác minh việc tải dữ liệu

  • DataFrame.count() để đếm số hàng
df.count()

5000
  • DataFrame.columns để liệt kê cột
df.columns

['No.', 'MLSID', 'StreetNumberNumeric', ... ]
  • Độ dài DataFrame.columns là số lượng cột
len(df.columns)

74
Feature Engineering với PySpark

Kiểm tra kiểu dữ liệu

DataFrame.dtypes

  • Tạo danh sách các cột và bộ dữ liệu kiểu của chúng
df.dtypes

[('No.', 'integer'), ('MLSID', 'string'), ... ]
Feature Engineering với PySpark

Cùng luyện tập nào!

Feature Engineering với PySpark

Preparing Video For Download...