Вступ до курсу

Робота з категоріальними даними в Python

Kasey Jones

Research Data Scientist

Що означає «категоріальні»?

Категоріальні

  • Скінченна кількість груп (або категорій)
  • Категорії зазвичай фіксовані чи відомі (колір очей, волосся тощо)
  • Такі дані ще називають якісними

Числові

  • Такі дані ще називають кількісними
  • Виражаються числовим значенням
  • Зазвичай це вимірювання (зріст, вага, IQ тощо)
Робота з категоріальними даними в Python

Порядкові vs номінальні змінні

Порядкові

  • Категоріальні змінні з природним порядком

Відповіді в опитуваннях часто варіюються від «різко не згоден» до «повністю згоден». Ці категорії мають логічний порядок.

Номінальні

  • Категоріальні змінні без природного порядку

Іноді категорії, як-от вибір кольору зі списку («Blue», «Green», «Red», «Yellow», «purple»), не мають логічного порядку.

Робота з категоріальними даними в Python

Наш перший набір даних

adult.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 32561 entries, 0 to 32560
Data columns (total 15 columns):
 #   Column           Non-Null Count  Dtype 
 --  ------           --------------  ----- 
 0   Age              32561 non-null  int64 
 1   Workclass        32561 non-null  object
 2   fnlgwt           32561 non-null  int64 
 3   Education        32561 non-null  object
 4   Education Num    32561 non-null  int64 
 5   Marital Status   32561 non-null  object
...
1 https://www.kaggle.com/uciml/adult-census-income
Робота з категоріальними даними в Python

Використання describe

adult["Marital Status"].describe()

count                   32561
unique                      7
top        Married-civ-spouse
freq                    14976
Name: Marital Status, dtype: object
Робота з категоріальними даними в Python

Використання value_counts

adult["Marital Status"].value_counts()

 Married-civ-spouse       14976
 Never-married            10683
 Divorced                  4443
 Separated                 1025
 Widowed                    993
 Married-spouse-absent      418
 Married-AF-spouse           23
Name: Marital Status, dtype: int64
Робота з категоріальними даними в Python

value_counts з normalize

adult["Marital Status"].value_counts(normalize=True)

 Married-civ-spouse       0.459937
 Never-married            0.328092
 Divorced                 0.136452
 Separated                0.031479
 Widowed                  0.030497
 Married-spouse-absent    0.012837
 Married-AF-spouse        0.000706
Name: Marital Status, dtype: float64
Робота з категоріальними даними в Python

Перевірка знань

Робота з категоріальними даними в Python

Preparing Video For Download...