Definiera ett problem

Feature Engineering med PySpark

John Hogue

Lead Data Scientist, General Mills

Vad är ditt problem?

Förutsäg försäljningspriset för ett hus

  • Givet är listpris och egenskaper
    • $X$, oberoende "kända" variabler
  • Hur mycket att köpa huset för
    • $Y$, beroende "okänd" variabel
    • SALESCLOSEPRICE

Hus till salu

Feature Engineering med PySpark

Kontext och begränsningar för vår fastighetsdata

  • Sålda bostäder i St Paul, MN-området
    • Inkluderar flera förorter
  • Fastighetstyper
    • Bostäder – enfamiljshus
    • Bostäder – flerfamiljshus
  • Ett helt år med data
    • Säsongsvariationernas påverkan

St Paul, MN

Feature Engineering med PySpark

Vilka typer av attribut finns tillgängliga?

  • Datum
    • Annonsdatum
    • Byggnadsår
  • Plats
    • Stad
    • Skoldistrikt
    • Adress
  • Storlek
    • # Sovrum & badrum
    • Bostadsyta
  • Pris
    • Listpris
    • Slutpris vid försäljning
  • Bekvämligheter
    • Pool
    • Öppen spis
    • Garage
  • Byggmaterial
    • Fasadbeklädnad
    • Takläggning
Feature Engineering med PySpark

Validera din dataladdning

  • DataFrame.count() för radantal
df.count()

5000
  • DataFrame.columns för en lista med kolumner
df.columns

['No.', 'MLSID', 'StreetNumberNumeric', ... ]
  • Längden på DataFrame.columns för antal kolumner
len(df.columns)

74
Feature Engineering med PySpark

Kontrollera datatyper

DataFrame.dtypes

  • Skapar en lista med kolumner och deras datatypstupler
df.dtypes

[('No.', 'integer'), ('MLSID', 'string'), ... ]
Feature Engineering med PySpark

Nu kör vi en övning!

Feature Engineering med PySpark

Preparing Video For Download...