Bir Problemi Tanımlamak

PySpark ile Özellik Mühendisliği

John Hogue

Lead Data Scientist, General Mills

Senin Problemin Ne?

Bir evin satış fiyatını tahmin et

  • Verilenler: ilan fiyatı ve özellikler
    • $X$, bağımsız 'bilinen' değişkenler
  • Evi kaça almalı
    • $Y$, bağımlı 'bilinmeyen' değişken
    • SALESCLOSEPRICE

Satılık Evler

PySpark ile Özellik Mühendisliği

Bağlam ve Kısıtlar: Gayrimenkul Verimiz

  • St Paul, MN Bölgesinde satılan evler
    • Birkaç banliyö dahil
  • Gayrimenkul Türleri
    • Konut-Tek Aile
    • Konut-Çok Aile
  • Tam yıl verisi
    • Mevsimselliğin etkisi

St Paul, MN

PySpark ile Özellik Mühendisliği

Hangi tür öznitelikler var?

  • Tarihler
    • İlan Tarihi
    • Yapım Yılı
  • Konum
    • Şehir
    • Okul Bölgesi
    • Adres
  • Büyüklük
    • Yatak Odası ve Banyo sayısı
    • Yaşam Alanı
  • Fiyat
    • Liste Fiyatı
    • Satış Kapanış Fiyatı
  • Kolaylıklar
    • Havuz
    • Şömine
    • Garaj
  • Yapı Malzemeleri
    • Dış cephe kaplama
    • Çatı kaplaması
PySpark ile Özellik Mühendisliği

Veri Yükünü Doğrulama

  • Satır sayısı için DataFrame.count()
df.count()

5000
  • Sütun listesi için DataFrame.columns
df.columns

['No.', 'MLSID', 'StreetNumberNumeric', ... ]
  • Sütun sayısı için DataFrame.columns uzunluğu
len(df.columns)

74
PySpark ile Özellik Mühendisliği

Veri Tiplerini Kontrol Etme

DataFrame.dtypes

  • Sütunları ve veri türlerini içeren bir liste oluşturur
df.dtypes

[('No.', 'integer'), ('MLSID', 'string'), ... ]
PySpark ile Özellik Mühendisliği

Hadi pratik yapalım

PySpark ile Özellik Mühendisliği

Preparing Video For Download...