Definire un problema

Feature Engineering con PySpark

John Hogue

Lead Data Scientist, General Mills

Qual è il tuo problema?

Prevedi il prezzo di vendita di una casa

  • Dati: prezzo di listino e caratteristiche
    • $X$, variabili indipendenti «note»
  • Quanto offrire per comprarla
    • $Y$, variabile dipendente «ignota»
    • SALESCLOSEPRICE

Case in vendita

Feature Engineering con PySpark

Contesto e limiti dei nostri immobili

  • Case vendute nell'area di St Paul, MN
    • Include varie periferie
  • Tipologie immobiliari
    • Residenziale - Unifamiliare
    • Residenziale - Plurifamiliare
  • Un anno completo di dati
    • Effetto della stagionalità

St Paul, MN

Feature Engineering con PySpark

Quali tipi di attributi sono disponibili?

  • Date
    • Data di inserimento
    • Anno di costruzione
  • Posizione
    • Città
    • Distretto scolastico
    • Indirizzo
  • Dimensioni
    • N. camere da letto e bagni
    • Superficie abitabile
  • Prezzo
    • Prezzo di listino
    • Prezzo di chiusura
  • Dotazioni
    • Piscina
    • Camino
    • Garage
  • Materiali costruttivi
    • Rivestimenti esterni
    • Coperture
Feature Engineering con PySpark

Convalidare il caricamento dei dati

  • DataFrame.count() per contare le righe
df.count()

5000
  • DataFrame.columns per l'elenco delle colonne
df.columns

['No.', 'MLSID', 'StreetNumberNumeric', ... ]
  • Lunghezza di DataFrame.columns per il numero di colonne
len(df.columns)

74
Feature Engineering con PySpark

Verificare i tipi di dato

DataFrame.dtypes

  • Crea un elenco di colonne e le rispettive coppie tipo di dato
df.dtypes

[('No.', 'integer'), ('MLSID', 'string'), ... ]
Feature Engineering con PySpark

Esercitiamoci!

Feature Engineering con PySpark

Preparing Video For Download...