カテゴリ変数の設定

Pythonでカテゴリカルデータを扱う

Kasey Jones

Research Data Scientist

新しいデータセット: 里親募集中の犬

dogs.info()

RangeIndex: 2937 entries, 0 to 2936, Data columns (total 19 columns):
 #   Column             Non-Null Count  Dtype  
 --  ------             --------------  -----  
 0   ID                 2937 non-null   int64  
 ...
 8   color              2937 non-null   object 
 9   coat               2937 non-null   object 
 ...
 17  get_along_cats     431 non-null    object 
 18  keep_in            1916 non-null   object 
dtypes: float64(1), int64(1), object(17)
memory usage: 436.1+ KB
...

¹ https://www.kaggle.com/jmolitoris/adoptable-dogs

犬の被毛

dogs["coat"] = dogs["coat"].astype("category")
dogs["coat"].value_counts(dropna=False)

short         1972
medium         565
wirehaired     220
long           180
Name: coat, dtype: int64

.cat アクセサ

Series.cat.method_name

共通の引数:

new_categories: カテゴリのリスト
inplace: 真偽値 - 上書きするか
ordered: 真偽値 - 順序付きカテゴリかどうか

Series のカテゴリ設定

カテゴリを設定:

dogs["coat"] = dogs["coat"].cat.set_categories(
  new_categories=["short", "medium", "long"]
)

度数を確認:

dogs["coat"].value_counts(dropna=False)

short     1972
medium     565
NaN        220
long       180

順序の設定

dogs["coat"] = dogs["coat"].cat.set_categories(
  new_categories=["short", "medium", "long"],
  ordered=True
)
dogs["coat"].head(3)

0     short
1     short
2     short
Name: coat, dtype: category
Categories (3, object): ['short' < 'medium' < 'long']

欠損しているカテゴリ

dogs["likes_people"].value_counts(dropna=False)

yes    1991
NaN     938
no        8

NaN の意味の可能性:

本当に不明（未確認）
判断不能（犬は「一部の」人だけ好き）

カテゴリの追加

カテゴリを追加

dogs["likes_people"] = dogs["likes_people"].astype("category")
dogs["likes_people"] = dogs["likes_people"].cat.add_categories(
  new_categories=["did not check", "could not tell"]
)

カテゴリを確認:

dogs["likes_people"].cat.categories

Index(['no', 'yes', 'did not check', 'could not tell'], dtype='object')

新しいカテゴリ

dogs["likes_people"].value_counts(dropna=False)

yes               1991
NaN                938
no                   8
could not tell       0
did not check        0

カテゴリの削除

dogs["coat"] = dogs["coat"].astype("category")
dogs["coat"] = dogs["coat"].cat.remove_categories(removals=["wirehaired"])

カテゴリを確認:

dogs["coat"].cat.categories

Index(['long', 'medium', 'short'], dtype='object')

メソッドのまとめ

設定: cat.set_categories()
- カテゴリの順序を設定できる
- このメソッドで指定しない値はすべて削除される
追加: cat.add_categories()
- DataFrame の値は変更されない
- 指定しないカテゴリはそのまま
削除: cat.remove_categories()
- 指定カテゴリに合致する値は NaN になる

カテゴリ更新の練習

Pythonでカテゴリカルデータを扱う