การนิยามปัญหา

Feature Engineering with PySpark

John Hogue

Lead Data Scientist, General Mills

ปัญหาของคุณคืออะไร?

ทำนายราคาขายบ้าน

  • กำหนดให้มีราคาตั้งและคุณสมบัติของบ้าน
    • $X$ ตัวแปรอิสระ ("known")
  • ต้องการทราบว่าควรซื้อบ้านในราคาเท่าไร
    • $Y$ ตัวแปรตาม ("unknown")
    • SALESCLOSEPRICE

บ้านที่วางขาย

Feature Engineering with PySpark

บริบทและข้อจำกัดของข้อมูลอสังหาริมทรัพย์

  • บ้านที่ขายในเขต St Paul, MN
    • ครอบคลุมพื้นที่ชานเมืองหลายแห่ง
  • ประเภทอสังหาริมทรัพย์
    • Residential-Single
    • Residential-Multi-Family
  • ข้อมูลเต็มปี
    • ผลกระทบจากฤดูกาล

St Paul, MN

Feature Engineering with PySpark

มีคุณลักษณะประเภทใดบ้าง?

  • วันที่
    • วันที่ลงประกาศ
    • ปีที่สร้าง
  • ตำแหน่งที่ตั้ง
    • เมือง
    • เขตการศึกษา
    • ที่อยู่
  • ขนาด
    • จำนวนห้องนอนและห้องน้ำ
    • พื้นที่อยู่อาศัย
  • ราคา
    • ราคาตั้ง
    • ราคาปิดการขาย
  • สิ่งอำนวยความสะดวก
    • สระว่ายน้ำ
    • เตาผิง
    • โรงจอดรถ
  • วัสดุก่อสร้าง
    • ผนังด้านนอก
    • หลังคา
Feature Engineering with PySpark

ตรวจสอบการโหลดข้อมูล

  • DataFrame.count() สำหรับนับจำนวนแถว
df.count()

5000
  • DataFrame.columns สำหรับดูรายชื่อคอลัมน์
df.columns

['No.', 'MLSID', 'StreetNumberNumeric', ... ]
  • ความยาวของ DataFrame.columns สำหรับนับจำนวนคอลัมน์
len(df.columns)

74
Feature Engineering with PySpark

ตรวจสอบชนิดข้อมูล

DataFrame.dtypes

  • สร้างรายการของคอลัมน์และชนิดข้อมูลในรูปแบบ tuple
df.dtypes

[('No.', 'integer'), ('MLSID', 'string'), ... ]
Feature Engineering with PySpark

มาฝึกกันเถอะ!

Feature Engineering with PySpark

Preparing Video For Download...