Ein Problem definieren

Feature Engineering mit PySpark

John Hogue

Lead Data Scientist, General Mills

Was ist dein Problem?

Verkaufs­preis eines Hauses vorhersagen

  • Gegeben: Angebotspreis und Merkmale
    • $X$, unabhängige „bekannte" Variablen
  • Für wie viel das Haus kaufen
    • $Y$, abhängige „unbekannte" Variable
    • SALESCLOSEPRICE

Häuser zu verkaufen

Feature Engineering mit PySpark

Kontext & Grenzen unserer Immobilien­daten

  • Verkaufte Häuser, Raum St. Paul, MN
    • Einschließlich mehrerer Vororte
  • Immobilienarten
    • Wohnen – Einfamilie
    • Wohnen – Mehrfamilie
  • Komplettes Jahr an Daten
    • Einfluss der Saisonalität

St. Paul, MN

Feature Engineering mit PySpark

Welche Attributtypen gibt es?

  • Daten
    • Angebotsdatum
    • Baujahr
  • Lage
    • Stadt
    • Schulbezirk
    • Adresse
  • Größe
    • Anzahl Schlafzimmer & Bäder
    • Wohnfläche
  • Preis
    • Angebotspreis
    • Verkaufsschluss­preis
  • Ausstattung
    • Pool
    • Kamin
    • Garage
  • Baumaterialien
    • Fassade
    • Dachdeckung
Feature Engineering mit PySpark

Datenladen validieren

  • DataFrame.count() für die Zeilenanzahl
df.count()

5000
  • DataFrame.columns für die Spaltenliste
df.columns

['No.', 'MLSID', 'StreetNumberNumeric', ... ]
  • Länge von DataFrame.columns für die Spaltenanzahl
len(df.columns)

74
Feature Engineering mit PySpark

Datentypen prüfen

DataFrame.dtypes

  • Erstellt eine Liste von Spalten und ihren Datentyp-Tupeln
df.dtypes

[('No.', 'integer'), ('MLSID', 'string'), ... ]
Feature Engineering mit PySpark

Lass uns üben!

Feature Engineering mit PySpark

Preparing Video For Download...