Введение в курс

Работа с категориальными данными в Python

Kasey Jones

Research Data Scientist

Что значит «категориальный»?

Категориальные

Конечное число групп (или категорий)
Категории обычно фиксированы или известны заранее (цвет глаз, цвет волос и т. д.)
Известны как качественные данные

Числовые

Известны как количественные данные
Выражаются числовым значением
Как правило, представляют собой измерение (рост, вес, IQ и т. д.)

Порядковые и номинальные переменные

Порядковые

Категориальные переменные с естественным порядком

Ответы в опросах часто располагаются от «совершенно не согласен» до «полностью согласен» — эти категории имеют логический порядок.

Номинальные

Категориальные переменные без естественного порядка

Некоторые категории, например выбор цвета из списка («Blue», «Green», «Red», «Yellow», «purple»), не имеют логического порядка.

Наш первый набор данных

adult.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 32561 entries, 0 to 32560
Data columns (total 15 columns):
 #   Column           Non-Null Count  Dtype 
 --  ------           --------------  ----- 
 0   Age              32561 non-null  int64 
 1   Workclass        32561 non-null  object
 2   fnlgwt           32561 non-null  int64 
 3   Education        32561 non-null  object
 4   Education Num    32561 non-null  int64 
 5   Marital Status   32561 non-null  object
...

¹ https://www.kaggle.com/uciml/adult-census-income

Метод describe

adult["Marital Status"].describe()

count                   32561
unique                      7
top        Married-civ-spouse
freq                    14976
Name: Marital Status, dtype: object

Метод value_counts

adult["Marital Status"].value_counts()

 Married-civ-spouse       14976
 Never-married            10683
 Divorced                  4443
 Separated                 1025
 Widowed                    993
 Married-spouse-absent      418
 Married-AF-spouse           23
Name: Marital Status, dtype: int64

Метод value_counts с параметром normalize

adult["Marital Status"].value_counts(normalize=True)

 Married-civ-spouse       0.459937
 Never-married            0.328092
 Divorced                 0.136452
 Separated                0.031479
 Widowed                  0.030497
 Married-spouse-absent    0.012837
 Married-AF-spouse        0.000706
Name: Marital Status, dtype: float64

Проверка знаний

Работа с категориальными данными в Python