Підводні камені категорій

Робота з категоріальними даними в Python

Kasey Jones

Research Data Scientist

Вживані авто: фінальний набір даних

import pandas as pd

used_cars = pd.read_csv("used_cars.csv")
used_cars.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 38531 entries, 0 to 38530
Data columns (total 30 columns):
 #   Column             Non-Null Count  Dtype  
 --  ------             --------------  -----  
 0   manufacturer_name  38531 non-null  object 
 1   model_name         38531 non-null  object 
 2   transmission       38531 non-null  object  
...

Велика економія памʼяті

used_cars['manufacturer_name'].describe()

count          38531
unique            55
top       Volkswagen
freq            4243
Name: manufacturer_name, dtype: object

print("As object: ", used_cars['manufacturer_name'].nbytes)
print("As category: ", used_cars['manufacturer_name'].astype('category').nbytes)

As object: 308248
As category: 38971

¹ https://pandas.pydata.org/pandas-docs/stable/user_guide/categorical.html

Незначна економія памʼяті

used_cars['odometer_value'].astype('object').describe()

count      38531
unique      6063
top       300000
freq        1794
Name: odometer_value, dtype: int64

print(f"As float: {used_cars['odometer_value'].nbytes}")
print(f"As category: {used_cars['odometer_value'].astype('category').nbytes}")

As float: 308248
As category: 125566

Працювати з категоріями буває складно

Використання обʼєкта-аксесора .str для обробки даних перетворює Series на object.
Метод .apply() повертає нову Series типу object.
Під час додавання, вилучення, заміни або задання категорій обробка пропусків відрізняється.
Функції NumPy зазвичай не працюють із категоріальними Series.

Перевірити й перетворити

Перевірте

used_cars["color"] = used_cars["color"].astype("category")
used_cars["color"] = used_cars["color"].str.upper()
print(used_cars["color"].dtype)

object

Перетворіть

used_cars["color"] = used_cars["color"].astype("category")
print(used_cars["color"].dtype)

category

Шукайте пропущені значення

Задайте категорії

used_cars["color"] = used_cars["color"].astype("category")
used_cars["color"].cat.set_categories(["black", "silver", "blue"], inplace=True)

used_cars["color"].value_counts(dropna=False)

NaN       18172
black      7705
silver     6852
blue       5802
Name: color, dtype: int64

Використання масивів NumPy

used_cars['number_of_photos'] = used_cars['number_of_photos'].astype("category")
used_cars['number_of_photos'].sum()  # <--- Gives an Error

TypeError: Categorical cannot perform the operation sum

used_cars['number_of_photos'].astype(int).sum()

Примітка:

# .str converts the column to an array
used_cars["color"].str.contains("red")

0        False
1        False
...

Практика підводних каменів

Робота з категоріальними даними в Python