Imputation des valeurs catégorielles

Gérer les données manquantes avec Python

Suraj Donthi

Deep Learning & Computer Vision Consultant

Complexité des valeurs catégorielles

La plupart des valeurs catégorielles sont des chaînes
Impossible d'opérer directement sur des chaînes
Nécessaire de convertir/coder en valeurs numériques, puis d'imputer

Techniques de conversion

Encodage one-hot

Couleur	Couleur_Rouge	Couleur_Vert	Couleur_Bleu
Rouge	1	0	0
Vert	0	1	0
Bleu	0	0	1
Rouge	1	0	0
Bleu	0	0	1
Bleu	0	0	1

Encodage ordinal

Couleur	Valeur
Rouge	0
Vert	1
Bleu	2
Rouge	0
Bleu	2
Bleu	2

Techniques d'imputation

Remplir avec la catégorie la plus fréquente
Imputer à l'aide de modèles statistiques comme KNN

Données de profil d'utilisateurs

users = pd.read_csv('userprofile.csv')
users.head()

    smoker    drink_level    dress_preference ambience    hijos        activity     budget
0    False    abstemious        informal      family    independent    student      medium
1    False    abstemious        informal      family    independent    student      low
2    False    social drinker    formal        family    independent    student      low
3    False    abstemious        informal      family    independent    professional medium
4    False    abstemious     no preference    family    independent    student      medium

Encodage ordinal

from sklearn.preprocessing import OrdinalEncoder


# Create Ordinal Encoder
ambience_ord_enc = OrdinalEncoder()

# Select non-null values in ambience
ambience = users['ambience']
ambience_not_null = ambience[ambience.notnull()]
reshaped_vals = ambience_not_null.values.reshape(-1, 1)

# Encode the non-null values of ambience
encoded_vals = ambience_ord_enc.fit_transform(reshaped_vals)

# Replace the ambience column with ordinal values
users.loc[ambience.notnull(), 'ambience'] = np.squeeze(encoded_vals)

Encodage ordinal

# Create dictionary for Ordinal encoders
ordinal_enc_dict = {}

# Loop over columns to encode
for col_name in users:
    # Create ordinal encoder for the column
    ordinal_enc_dict[col_name] = OrdinalEncoder()
    col = users[col_name]

    # Select the non-null values in the column
    col_not_null = col[col.notnull()]
    reshaped_vals = col_not_null.values.reshape(-1, 1)

    # Encode the non-null values of the column
    encoded_vals = ordinal_enc_dict[col_name].fit_transform(reshaped_vals)

    # Replace the values in the column with ordinal values
    users.loc[col.notnull(), col_name] = np.squeeze(encoded_vals)

Imputation avec KNN

users_KNN_imputed = users.copy(deep=True)


# Create KNN imputer
KNN_imputer = KNN()


users_KNN_imputed.iloc[:, :] = np.round(KNN_imputer.fit_transform(users))


for col_name in users_KNN_imputed:
    # Reshape the values to 2-dimensions to 
    # avoid errors while storing in the DataFrame
    reshaped = users_KNN_imputed[col_name].values.reshape(-1, 1)
    users_KNN_imputed[col_name] = \
    ordinal_enc_dict[col_name].inverse_transform(reshaped)

Résumé

Étapes pour imputer des valeurs catégorielles

Convertir les colonnes catégorielles non manquantes en valeurs ordinales
Imputer les valeurs manquantes dans le DataFrame ordinal
Reconvertir les valeurs ordinales en valeurs catégorielles

Passons à la pratique !

Gérer les données manquantes avec Python