Umgang mit fehlenden Werten (I)

Feature Engineering für Machine Learning in Python

Robert O'Callaghan

Director of Data Science, Ordergroove

Listweises Löschen

      SurveyDate      ConvertedSalary     Hobby ... \
0  2/28/18 20:20                  NaN       Yes ...
1  6/28/18 13:26              70841.0       Yes ...
2    6/6/18 3:37                  NaN        No ...
3    5/9/18 1:06              21426.0       Yes ...
4  4/12/18 22:41              41671.0       Yes ...
Feature Engineering für Machine Learning in Python

Listweises Löschen in Python

# Alle Zeilen mit mindestens einem fehlenden Wert löschen
df.dropna(how='any')
Feature Engineering für Machine Learning in Python

Listweises Löschen in Python

# Zeilen mit fehlenden Werten in einer bestimmten Spalte löschen
df.dropna(subset=['VersionControl'])
Feature Engineering für Machine Learning in Python

Probleme beim Löschen

  • Es löscht gültige Datenpunkte
  • Setzt Zufälligkeit voraus
  • Verringert Information
Feature Engineering für Machine Learning in Python

Mit Zeichenketten ersetzen

# Fehlende Werte in einer bestimmten Spalte
# durch eine angegebene Zeichenkette ersetzen
df['VersionControl'].fillna(
    value='None Given', inplace=True
)
Feature Engineering für Machine Learning in Python

Fehlwerte markieren

# Festhalten, wo Werte nicht fehlen
df['SalaryGiven'] = df['ConvertedSalary'].notnull()

# Eine bestimmte Spalte entfernen
df.drop(columns=['ConvertedSalary'])
Feature Engineering für Machine Learning in Python

Zeit zum Üben

Feature Engineering für Machine Learning in Python

Preparing Video For Download...