Mendefinisikan Masalah

Rekayasa Fitur dengan PySpark

John Hogue

Lead Data Scientist, General Mills

Apa Masalah Anda?

Prediksi harga jual rumah

  • Diberikan harga listing dan fitur
    • $X$, variabel "diketahui" independen
  • Berapa harga beli rumah
    • $Y$, variabel "tidak diketahui" dependen
    • SALESCLOSEPRICE

Rumah untuk Dijual

Rekayasa Fitur dengan PySpark

Konteks & Batasan Real Estat Kita

  • Rumah terjual di Area St Paul, MN
    • Termasuk beberapa pinggiran kota
  • Jenis Real Estat
    • Residential-Single
    • Residential-Multi-Family
  • Data Satu Tahun Penuh
    • Dampak musiman

St Paul, MN

Rekayasa Fitur dengan PySpark

Atribut apa saja yang tersedia?

  • Tanggal
    • Tanggal Listing
    • Tahun Dibangun
  • Lokasi
    • Kota
    • Distrik Sekolah
    • Alamat
  • Ukuran
    • # Kamar Tidur & Kamar Mandi
    • Luas Hunian
  • Harga
    • Harga Listing
    • Harga Penutupan Penjualan
  • Fasilitas
    • Kolam renang
    • Perapian
    • Garasi
  • Bahan Konstruksi
    • Dinding luar (siding)
    • Atap
Rekayasa Fitur dengan PySpark

Memvalidasi Pemuatan Data Anda

  • DataFrame.count() untuk jumlah baris
df.count()

5000
  • DataFrame.columns untuk daftar kolom
df.columns

['No.', 'MLSID', 'StreetNumberNumeric', ... ]
  • Panjang DataFrame.columns untuk jumlah kolom
len(df.columns)

74
Rekayasa Fitur dengan PySpark

Memeriksa Tipe Data

DataFrame.dtypes

  • Membuat daftar kolom dan tuple tipe datanya
df.dtypes

[('No.', 'integer'), ('MLSID', 'string'), ... ]
Rekayasa Fitur dengan PySpark

Ayo berlatih!

Rekayasa Fitur dengan PySpark

Preparing Video For Download...