Tücken bei Kategorien

Arbeiten mit kategorialen Daten in Python

Kasey Jones

Research Data Scientist

Gebrauchtwagen: das finale Dataset

import pandas as pd

used_cars = pd.read_csv("used_cars.csv")
used_cars.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 38531 entries, 0 to 38530
Data columns (total 30 columns):
 #   Column             Non-Null Count  Dtype  
 --  ------             --------------  -----  
 0   manufacturer_name  38531 non-null  object 
 1   model_name         38531 non-null  object 
 2   transmission       38531 non-null  object  
...

Große Speichereinsparungen

used_cars['manufacturer_name'].describe()

count          38531
unique            55
top       Volkswagen
freq            4243
Name: manufacturer_name, dtype: object

print("As object: ", used_cars['manufacturer_name'].nbytes)
print("As category: ", used_cars['manufacturer_name'].astype('category').nbytes)

As object: 308248
As category: 38971

¹ https://pandas.pydata.org/pandas-docs/stable/user_guide/categorical.html

Geringe Speichereinsparungen

used_cars['odometer_value'].astype('object').describe()

count      38531
unique      6063
top       300000
freq        1794
Name: odometer_value, dtype: int64

print(f"As float: {used_cars['odometer_value'].nbytes}")
print(f"As category: {used_cars['odometer_value'].astype('category').nbytes}")

As float: 308248
As category: 125566

Kategorien können frustrieren

Die Verwendung des .str-Accessors zur Manipulation konvertiert die Series zu object.
Die Methode .apply() gibt eine neue Series als object aus.
Häufige Methoden zum Hinzufügen, Entfernen, Ersetzen oder Setzen von Kategorien behandeln fehlende Kategorien nicht einheitlich.
NumPy-Funktionen funktionieren meist nicht mit kategorialen Series.

Prüfen und konvertieren

Prüfen

used_cars["color"] = used_cars["color"].astype("category")
used_cars["color"] = used_cars["color"].str.upper()
print(used_cars["color"].dtype)

object

Konvertieren

used_cars["color"] = used_cars["color"].astype("category")
print(used_cars["color"].dtype)

category

Fehlwerte finden

Kategorien setzen

used_cars["color"] = used_cars["color"].astype("category")
used_cars["color"].cat.set_categories(["black", "silver", "blue"], inplace=True)

used_cars["color"].value_counts(dropna=False)

NaN       18172
black      7705
silver     6852
blue       5802
Name: color, dtype: int64

NumPy-Arrays verwenden

used_cars['number_of_photos'] = used_cars['number_of_photos'].astype("category")
used_cars['number_of_photos'].sum()  # <--- führt zu einem Fehler

TypeError: Categorical cannot perform the operation sum

used_cars['number_of_photos'].astype(int).sum()

Hinweis:

# .str konvertiert die Spalte in ein Array
used_cars["color"].str.contains("red")

0        False
1        False
...

Übung zu Fallstricken

Arbeiten mit kategorialen Daten in Python