Définir un problème

Ingénierie des caractéristiques avec PySpark

John Hogue

Lead Data Scientist, General Mills

Quel est votre problème ?

Prédire le prix de vente d'une maison

  • Prix affiché et caractéristiques fournis
    • $X$, variables « connues » indépendantes
  • Combien payer la maison
    • $Y$, variable « inconnue » dépendante
    • SALESCLOSEPRICE

Maisons à vendre

Ingénierie des caractéristiques avec PySpark

Contexte et limites de nos données immobilières

  • Maisons vendues dans la région de St Paul, MN
    • Inclut plusieurs banlieues
  • Types d'immeubles
    • Résidentiel — unifamilial
    • Résidentiel — multilogement
  • Données sur toute une année
    • Effet de la saisonnalité

St Paul, MN

Ingénierie des caractéristiques avec PySpark

Quels types d'attributs sont disponibles ?

  • Dates
    • Date d'inscription
    • Année de construction
  • Emplacement
    • Ville
    • Commission scolaire
    • Adresse
  • Superficie
    • Nb de chambres et salles de bain
    • Aire habitable
  • Prix
    • Prix affiché
    • Prix de clôture de la vente
  • Commodités
    • Piscine
    • Foyer
    • Garage
  • Matériaux de construction
    • Revêtement extérieur
    • Toiture
Ingénierie des caractéristiques avec PySpark

Valider le chargement des données

  • DataFrame.count() pour le nombre de lignes
df.count()

5000
  • DataFrame.columns pour la liste des colonnes
df.columns

['No.', 'MLSID', 'StreetNumberNumeric', ... ]
  • Longueur de DataFrame.columns pour le nombre de colonnes
len(df.columns)

74
Ingénierie des caractéristiques avec PySpark

Vérifier les types de données

DataFrame.dtypes

  • Crée une liste de colonnes et leurs types de données (tuples)
df.dtypes

[('No.', 'integer'), ('MLSID', 'string'), ... ]
Ingénierie des caractéristiques avec PySpark

Passons à la pratique !

Ingénierie des caractéristiques avec PySpark

Preparing Video For Download...