Definice problému

Feature Engineering with PySpark

John Hogue

Lead Data Scientist, General Mills

Jaký je váš problém?

Předpověď prodejní ceny domu

  • Vstupem je inzerovaná cena a vlastnosti nemovitosti
    • $X$, nezávislé „známé" proměnné
  • Cena, za kterou dům koupit
    • $Y$, závislá „neznámá" proměnná
    • SALESCLOSEPRICE

Domy na prodej

Feature Engineering with PySpark

Kontext a omezení našich dat o nemovitostech

  • Prodané domy v oblasti St Paul, MN
    • Zahrnuje několik předměstí
  • Typy nemovitostí
    • Rodinné domy
    • Vícerodinné domy
  • Celý rok dat
    • Vliv sezónnosti

St Paul, MN

Feature Engineering with PySpark

Jaké typy atributů jsou k dispozici?

  • Data
    • Datum inzerce
    • Rok výstavby
  • Poloha
    • Město
    • Školský obvod
    • Adresa
  • Velikost

    • Bedrooms & Bathrooms

    • Obytná plocha
  • Cena
    • Inzerovaná cena
    • Závěrečná prodejní cena
  • Vybavení
    • Bazén
    • Krb
    • Garáž
  • Stavební materiály
    • Obkladové materiály
    • Střešní krytina
Feature Engineering with PySpark

Ověření načtení dat

  • DataFrame.count() pro počet řádků
df.count()

5000
  • DataFrame.columns pro seznam sloupců
df.columns

['No.', 'MLSID', 'StreetNumberNumeric', ... ]
  • Délka DataFrame.columns pro počet sloupců
len(df.columns)

74
Feature Engineering with PySpark

Kontrola datových typů

DataFrame.dtypes

  • Vytvoří seznam n-tic sloupců a jejich datových typů
df.dtypes

[('No.', 'integer'), ('MLSID', 'string'), ... ]
Feature Engineering with PySpark

Let's Practice

Feature Engineering with PySpark

Preparing Video For Download...