Gérer d'autres problèmes de données

Feature engineering pour le Machine Learning en Python

Robert O'Callaghan

Director of Data Science, Ordergroove

Caractères indésirables

print(df['RawSalary'].dtype)

dtype('O')
Feature engineering pour le Machine Learning en Python

Caractères indésirables

print(df['RawSalary'].head())

0          NaN
1    70,841.00
2          NaN
3    21,426.00
4    41,671.00
Name: RawSalary, dtype: object
Feature engineering pour le Machine Learning en Python

Traiter les caractères indésirables

df['RawSalary'] = df['RawSalary'].str.replace(',', '')

df['RawSalary'] = df['RawSalary'].astype('float')
Feature engineering pour le Machine Learning en Python

Détecter d'autres caractères parasites

coerced_vals = pd.to_numeric(df['RawSalary'], 
                             errors='coerce')
Feature engineering pour le Machine Learning en Python

Détecter d'autres caractères parasites

print(df[coerced_vals.isna()].head())

0           NaN
2           NaN
4     $51408.00
Name: RawSalary, dtype: object
Feature engineering pour le Machine Learning en Python

Chaîner les méthodes

df['column_name'] = df['column_name'].method1()
df['column_name'] = df['column_name'].method2()
df['column_name'] = df['column_name'].method3()

Identique à :

df['column_name'] = df['column_name']\
                     .method1().method2().method3()
Feature engineering pour le Machine Learning en Python

Allez, corrigez ces caractères indésirables !

Feature engineering pour le Machine Learning en Python

Preparing Video For Download...