Nettoyer et accéder aux données
Travailler avec des données catégorielles en Python
Kasey Jones
Research Data Scientist
Problèmes possibles avec les données catégorielles
1) Valeurs incohérentes : "Ham", "ham", " Ham"
2) Fautes d'orthographe : "Ham", "Hma"
3) Mauvais dtype : df['Our Column'].dtype
dtype('O')
Repérer les problèmes
Utilisez soit :
Series.cat.categoriesSeries.value_counts()
dogs["get_along_cats"].value_counts()
No 2503
yes 275
no 156
Noo 2
NO 1
Correction : espaces
Suppression des espaces : .strip()
dogs["get_along_cats"] = dogs["get_along_cats"].str.strip()
Vérifier les fréquences :
dogs["get_along_cats"].value_counts()
No 2503
yes 275
no 156
Noo 2
NO 1 # < ---- plus d'espace
Correction : casse
Casse : .title(), .upper(), .lower()
dogs["get_along_cats"] = dogs["get_along_cats"].str.title()
Vérifier les fréquences :
dogs["get_along_cats"].value_counts()
No 2660
Yes 275
Noo 2
Correction : mots mal orthographiés
Corriger une coquille avec .replace()
replace_map = {"Noo": "No"}
dogs["get_along_cats"].replace(replace_map, inplace=True)
Vérifier les fréquences :
dogs["get_along_cats"].value_counts()
No 2662
Yes 275
Vérifier le type de données
Vérifier le dtype
dogs["get_along_cats"].dtype
dtype('O')
Reconvertir en catégorie
dogs["get_along_cats"] = dogs["get_along_cats"].astype("category")
Utiliser l'accesseur str
Rechercher une chaîne
dogs["breed"].str.contains("Shepherd", regex=False)
0 False
1 False
2 False
...
2935 False
2936 True
Accéder aux données avec loc
Accéder aux valeurs d'une Series selon la catégorie
dogs.loc[dogs["get_along_cats"] == "Yes", "size"]
Comptes des valeurs de la Series :
dogs.loc[dogs["get_along_cats"] == "Yes", "size"].value_counts(sort=False)
small 69
medium 169
large 37
Pratique : nettoyer et accéder
Travailler avec des données catégorielles en Python
