Gérer les valeurs manquantes (I)

Ingénierie des caractéristiques pour le Machine Learning en Python

Robert O'Callaghan

Director of Data Science, Ordergroove

Suppression par liste complète

      SurveyDate      ConvertedSalary     Hobby ... \
0  2/28/18 20:20                  NaN       Yes ...
1  6/28/18 13:26              70841.0       Yes ...
2    6/6/18 3:37                  NaN        No ...
3    5/9/18 1:06              21426.0       Yes ...
4  4/12/18 22:41              41671.0       Yes ...
Ingénierie des caractéristiques pour le Machine Learning en Python

Suppression par liste en Python

# Supprimer toutes les lignes ayant au moins une valeur manquante
df.dropna(how='any')
Ingénierie des caractéristiques pour le Machine Learning en Python

Suppression par liste en Python

# Supprimer les lignes avec des valeurs manquantes
# dans une colonne précise
df.dropna(subset=['VersionControl'])
Ingénierie des caractéristiques pour le Machine Learning en Python

Problèmes de suppression

  • Supprime des données valides
  • Suppose l'aléatoire
  • Réduit l'information
Ingénierie des caractéristiques pour le Machine Learning en Python

Remplacer par des chaînes

# Remplacer les valeurs manquantes d'une colonne
# par une chaîne donnée
df['VersionControl'].fillna(
    value='None Given', inplace=True
)
Ingénierie des caractéristiques pour le Machine Learning en Python

Consigner les valeurs manquantes

# Indiquer où les valeurs ne sont pas manquantes
df['SalaryGiven'] = df['ConvertedSalary'].notnull()

# Supprimer une colonne précise
df.drop(columns=['ConvertedSalary'])
Ingénierie des caractéristiques pour le Machine Learning en Python

Passons à la pratique !

Ingénierie des caractéristiques pour le Machine Learning en Python

Preparing Video For Download...