Definirea unei probleme

Feature Engineering cu PySpark

John Hogue

Lead Data Scientist, General Mills

Care este problema?

Predicția prețului de vânzare al unei case

  • Date disponibile: prețul listat și caracteristici
    • $X$, variabile independente „cunoscute"
  • Cât să plătești pentru casă
    • $Y$, variabilă dependentă „necunoscută"
    • SALESCLOSEPRICE

Case de vânzare

Feature Engineering cu PySpark

Context și limitări ale datelor imobiliare

  • Case vândute în zona St Paul, MN
    • Include mai multe suburbii
  • Tipuri de imobile
    • Rezidențial-Unifamilial
    • Rezidențial-Multifamilial
  • Un an complet de date
    • Impactul sezonalității

St Paul, MN

Feature Engineering cu PySpark

Ce tipuri de atribute sunt disponibile?

  • Date calendaristice
    • Data listării
    • Anul construcției
  • Locație
    • Oraș
    • District școlar
    • Adresă
  • Suprafață
    • # Dormitoare și băi
    • Suprafață locuibilă
  • Preț
    • Preț listat
    • Prețul de închidere a vânzării
  • Facilități
    • Piscină
    • Șemineu
    • Garaj
  • Materiale de construcție
    • Placare exterioară
    • Acoperiș
Feature Engineering cu PySpark

Validarea încărcării datelor

  • DataFrame.count() pentru numărul de rânduri
df.count()

5000
  • DataFrame.columns pentru lista coloanelor
df.columns

['No.', 'MLSID', 'StreetNumberNumeric', ... ]
  • Lungimea DataFrame.columns pentru numărul de coloane
len(df.columns)

74
Feature Engineering cu PySpark

Verificarea tipurilor de date

DataFrame.dtypes

  • Creează o listă de tupluri cu coloane și tipurile lor de date
df.dtypes

[('No.', 'integer'), ('MLSID', 'string'), ... ]
Feature Engineering cu PySpark

Să exersăm!

Feature Engineering cu PySpark

Preparing Video For Download...