Een probleem definiëren

Feature Engineering met PySpark

John Hogue

Lead Data Scientist, General Mills

Wat is jouw probleem?

Voorspel de verkoopprijs van een huis

  • Gegeven: vraagprijs en kenmerken
    • $X$, onafhankelijke 'bekende' variabelen
  • Voor hoeveel moet je het huis kopen
    • $Y$, afhankelijke 'onbekende' variabele
    • SALESCLOSEPRICE

Huizen te koop

Feature Engineering met PySpark

Context & beperkingen van ons vastgoed

  • Huizen verkocht in St. Paul, MN
    • Inclusief omliggende suburbs
  • Vastgoedtypen
    • Residential-Single
    • Residential-Multi-Family
  • Vol jaar aan data
    • Effect van seizoensinvloeden

St. Paul, MN

Feature Engineering met PySpark

Welke soorten attributen zijn er beschikbaar?

  • Datums
    • Datum geplaatst
    • Bouwjaar
  • Locatie
    • Stad
    • Schooldistrict
    • Adres
  • Omvang

    • Slaapkamers & badkamers

    • Woonoppervlak
  • Prijs
    • Vraagprijs
    • Verkoopprijs bij overdracht
  • Voorzieningen
    • Zwembad
    • Open haard
    • Garage
  • Bouwmaterialen
    • Gevelbekleding
    • Dakbedekking
Feature Engineering met PySpark

Je dataload valideren

  • DataFrame.count() voor het aantal rijen
df.count()

5000
  • DataFrame.columns voor een lijst met kolommen
df.columns

['No.', 'MLSID', 'StreetNumberNumeric', ... ]
  • Lengte van DataFrame.columns voor het aantal kolommen
len(df.columns)

74
Feature Engineering met PySpark

Datatypen controleren

DataFrame.dtypes

  • Maakt een lijst van kolommen met hun gegevenstype-tuple
df.dtypes

[('No.', 'integer'), ('MLSID', 'string'), ... ]
Feature Engineering met PySpark

Laten we oefenen!

Feature Engineering met PySpark

Preparing Video For Download...