Группировка данных по категориям в pandas
Работа с категориальными данными в Python
Kasey Jones
Research Data Scientist
Основы .groupby(): разбивка данных
adult = pd.read_csv("data/adult.csv")
adult1 = adult[adult["Above/Below 50k"] == " <=50K"]
adult2 = adult[adult["Above/Below 50k"] == " >50K"]
заменяется на
groupby_object = adult.groupby(by=["Above/Below 50k"])
Основы .groupby(): применение функции
groupby_object = adult.groupby(by=["Above/Below 50k"])
Применение функции:
groupby_object.mean()
Age fnlgwt Education Num Capital Gain ...
Above/Below 50k
<=50K 36.783738 190340.86517 9.595065 148.752468 ...
>50K 44.249841 188005.00000 11.611657 4006.142456 ...
В одну строку:
adult.groupby(by=["Above/Below 50k"]).mean()
Выбор столбцов
Вариант 1: .sum() применяется только к двум столбцам.
adult.groupby(by=["Above/Below 50k"])['Age', 'Education Num'].sum()
Age Education Num
Above/Below 50k
<=50K 909294 237190
>50K 346963 91047
Вариант 2: .sum() применяется ко всем числовым столбцам, затем выбирается подмножество.
adult.groupby(by=["Above/Below 50k"]).sum()[['Age', 'Education Num']]
Вариант 1 предпочтительнее — особенно при работе с большими наборами данных
Группировка по нескольким столбцам
adult.groupby(by=["Above/Below 50k", "Marital Status"]).size()
Above/Below 50k Marital Status
<=50K Divorced 3980
Married-AF-spouse 13
Married-civ-spouse 8284
Married-spouse-absent 384
Never-married 10192
Separated 959
Widowed 908
>50K Divorced 463
Married-AF-spouse 10 <--- Only 10 records
Married-civ-spouse 6692
...
Давайте потренируемся!
Работа с категориальными данными в Python
