Pièges des catégories

Utilisation de données catégorielles dans Python

Kasey Jones

Research Data Scientist

Voitures d’occasion : jeu de données final

import pandas as pd

used_cars = pd.read_csv("used_cars.csv")
used_cars.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 38531 entries, 0 to 38530
Data columns (total 30 columns):
 #   Column             Non-Null Count  Dtype  
 --  ------             --------------  -----  
 0   manufacturer_name  38531 non-null  object 
 1   model_name         38531 non-null  object 
 2   transmission       38531 non-null  object  
...

Énormes gains mémoire

used_cars['manufacturer_name'].describe()

count          38531
unique            55
top       Volkswagen
freq            4243
Name: manufacturer_name, dtype: object

print("As object: ", used_cars['manufacturer_name'].nbytes)
print("As category: ", used_cars['manufacturer_name'].astype('category').nbytes)

As object: 308248
As category: 38971

¹ https://pandas.pydata.org/pandas-docs/stable/user_guide/categorical.html

Gains mémoire limités

used_cars['odometer_value'].astype('object').describe()

count      38531
unique      6063
top       300000
freq        1794
Name: odometer_value, dtype: int64

print(f"As float: {used_cars['odometer_value'].nbytes}")
print(f"As category: {used_cars['odometer_value'].astype('category').nbytes}")

As float: 308248
As category: 125566

Les catégories peuvent être frustrantes

Utiliser l’accesseur .str pour manipuler les données convertit la Series en objet.
La méthode .apply() renvoie une nouvelle Series en objet.
Les méthodes pour ajouter, supprimer, remplacer ou définir des catégories ne gèrent pas toutes les catégories manquantes de la même façon.
Les fonctions NumPy ne fonctionnent généralement pas avec les Series catégorielles.

Vérifier et convertir

Vérifier

used_cars["color"] = used_cars["color"].astype("category")
used_cars["color"] = used_cars["color"].str.upper()
print(used_cars["color"].dtype)

object

Convertir

used_cars["color"] = used_cars["color"].astype("category")
print(used_cars["color"].dtype)

category

Rechercher les valeurs manquantes

Définir les catégories

used_cars["color"] = used_cars["color"].astype("category")
used_cars["color"].cat.set_categories(["black", "silver", "blue"], inplace=True)

used_cars["color"].value_counts(dropna=False)

NaN       18172
black      7705
silver     6852
blue       5802
Name: color, dtype: int64

Utiliser des tableaux NumPy

used_cars['number_of_photos'] = used_cars['number_of_photos'].astype("category")
used_cars['number_of_photos'].sum()  # <--- Provoque une erreur

TypeError: Categorical cannot perform the operation sum

used_cars['number_of_photos'].astype(int).sum()

Remarque :

# .str convertit la colonne en tableau
used_cars["color"].str.contains("red")

0        False
1        False
...

Exercice sur les pièges

Utilisation de données catégorielles dans Python