범주형의 함정

Python으로 범주형 데이터 다루기

Kasey Jones

Research Data Scientist

중고차: 최종 데이터셋

import pandas as pd

used_cars = pd.read_csv("used_cars.csv")
used_cars.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 38531 entries, 0 to 38530
Data columns (total 30 columns):
 #   Column             Non-Null Count  Dtype  
 --  ------             --------------  -----  
 0   manufacturer_name  38531 non-null  object 
 1   model_name         38531 non-null  object 
 2   transmission       38531 non-null  object  
...

메모리 대폭 절감

used_cars['manufacturer_name'].describe()

count          38531
unique            55
top       Volkswagen
freq            4243
Name: manufacturer_name, dtype: object

print("As object: ", used_cars['manufacturer_name'].nbytes)
print("As category: ", used_cars['manufacturer_name'].astype('category').nbytes)

As object: 308248
As category: 38971

¹ https://pandas.pydata.org/pandas-docs/stable/user_guide/categorical.html

메모리 절감 적음

used_cars['odometer_value'].astype('object').describe()

count      38531
unique      6063
top       300000
freq        1794
Name: odometer_value, dtype: int64

print(f"As float: {used_cars['odometer_value'].nbytes}")
print(f"As category: {used_cars['odometer_value'].astype('category').nbytes}")

As float: 308248
As category: 125566

범주 사용은 답답할 수 있음

.str 접근자로 조작하면 Series가 object로 변환됩니다.
.apply()는 object Series를 새로 생성합니다.
범주 추가/제거/교체/설정 메서드는 결측 범주를 동일하게 처리하지 않습니다.
NumPy 함수는 일반적으로 범주형 Series에서 동작하지 않습니다.

확인 및 변환

{{1}} 확인

used_cars["color"] = used_cars["color"].astype("category")
used_cars["color"] = used_cars["color"].str.upper()
print(used_cars["color"].dtype)

object

{{2}} 변환

used_cars["color"] = used_cars["color"].astype("category")
print(used_cars["color"].dtype)

category

결측치 확인

범주 설정

used_cars["color"] = used_cars["color"].astype("category")
used_cars["color"].cat.set_categories(["black", "silver", "blue"], inplace=True)

used_cars["color"].value_counts(dropna=False)

NaN       18172
black      7705
silver     6852
blue       5802
Name: color, dtype: int64

NumPy 배열 사용

used_cars['number_of_photos'] = used_cars['number_of_photos'].astype("category")
used_cars['number_of_photos'].sum()  # <--- 오류 발생

TypeError: Categorical cannot perform the operation sum

used_cars['number_of_photos'].astype(int).sum()

참고:

# .str은 열을 배열로 변환합니다
used_cars["color"].str.contains("red")

0        False
1        False
...

함정 실습

Python으로 범주형 데이터 다루기