Capcane ale categoriilor

Lucrul cu date categoriale în Python

Kasey Jones

Research Data Scientist

Mașini second-hand: setul final de date

import pandas as pd

used_cars = pd.read_csv("used_cars.csv")
used_cars.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 38531 entries, 0 to 38530
Data columns (total 30 columns):
 #   Column             Non-Null Count  Dtype  
 --  ------             --------------  -----  
 0   manufacturer_name  38531 non-null  object 
 1   model_name         38531 non-null  object 
 2   transmission       38531 non-null  object  
...

Economii mari de memorie

used_cars['manufacturer_name'].describe()

count          38531
unique            55
top       Volkswagen
freq            4243
Name: manufacturer_name, dtype: object

print("As object: ", used_cars['manufacturer_name'].nbytes)
print("As category: ", used_cars['manufacturer_name'].astype('category').nbytes)

As object: 308248
As category: 38971

¹ https://pandas.pydata.org/pandas-docs/stable/user_guide/categorical.html

Economii mici de memorie

used_cars['odometer_value'].astype('object').describe()

count      38531
unique      6063
top       300000
freq        1794
Name: odometer_value, dtype: int64

print(f"As float: {used_cars['odometer_value'].nbytes}")
print(f"As category: {used_cars['odometer_value'].astype('category').nbytes}")

As float: 308248
As category: 125566

Categoriile pot fi dificil de utilizat

Utilizarea accesorului .str pentru manipularea datelor convertește seria la tipul object.
Metoda .apply() returnează o serie nouă de tip object.
Metodele uzuale de adăugare, eliminare, înlocuire sau setare a categoriilor nu gestionează uniform categoriile lipsă.
Funcțiile NumPy nu funcționează în general cu serii categoriale.

Verificare și conversie

Verificare

used_cars["color"] = used_cars["color"].astype("category")
used_cars["color"] = used_cars["color"].str.upper()
print(used_cars["color"].dtype)

object

Convertire

used_cars["color"] = used_cars["color"].astype("category")
print(used_cars["color"].dtype)

category

Căutarea valorilor lipsă

Setare categorii

used_cars["color"] = used_cars["color"].astype("category")
used_cars["color"].cat.set_categories(["black", "silver", "blue"], inplace=True)

used_cars["color"].value_counts(dropna=False)

NaN       18172
black      7705
silver     6852
blue       5802
Name: color, dtype: int64

Utilizarea array-urilor NumPy

used_cars['number_of_photos'] = used_cars['number_of_photos'].astype("category")
used_cars['number_of_photos'].sum()  # <--- Gives an Error

TypeError: Categorical cannot perform the operation sum

used_cars['number_of_photos'].astype(int).sum()

Notă:

# .str converts the column to an array
used_cars["color"].str.contains("red")

0        False
1        False
...

Practică pe capcane

Lucrul cu date categoriale în Python