Cómo tratar los valores ausentes (I)

Ingeniería de características para Machine Learning en Python

Robert O'Callaghan

Director of Data Science, Ordergroove

Eliminación por lista completa

      SurveyDate      ConvertedSalary     Hobby ... \
0  2/28/18 20:20                  NaN       Yes ...
1  6/28/18 13:26              70841.0       Yes ...
2    6/6/18 3:37                  NaN        No ...
3    5/9/18 1:06              21426.0       Yes ...
4  4/12/18 22:41              41671.0       Yes ...
Ingeniería de características para Machine Learning en Python

Eliminación por lista en Python

# Elimina todas las filas con al menos un valor ausente
df.dropna(how='any')
Ingeniería de características para Machine Learning en Python

Eliminación por lista en Python

# Elimina filas con valores ausentes en una columna concreta
df.dropna(subset=['VersionControl'])
Ingeniería de características para Machine Learning en Python

Problemas de la eliminación

  • Borra datos válidos
  • Supone aleatoriedad
  • Reduce la información
Ingeniería de características para Machine Learning en Python

Sustitución por cadenas

# Sustituye valores ausentes en una columna concreta
# por una cadena dada
df['VersionControl'].fillna(
    value='None Given', inplace=True
)
Ingeniería de características para Machine Learning en Python

Registrar valores ausentes

# Registra dónde los valores no están ausentes
df['SalaryGiven'] = df['ConvertedSalary'].notnull()

# Elimina una columna concreta
df.drop(columns=['ConvertedSalary'])
Ingeniería de características para Machine Learning en Python

Hora de practicar

Ingeniería de características para Machine Learning en Python

Preparing Video For Download...