Очистка и доступ к данным

Работа с категориальными данными в Python

Kasey Jones

Research Data Scientist

Возможные проблемы с категориальными данными

1) Несогласованные значения: "Ham", "ham", " Ham"

2) Ошибки в значениях: "Ham", "Hma"

3) Неверный dtype: df['Our Column'].dtype

dtype('O')

Используйте один из вариантов:

dogs["get_along_cats"].value_counts()

No     2503
yes     275
no      156
Noo       2
 NO       1

Удаление пробелов: .strip()

dogs["get_along_cats"] = dogs["get_along_cats"].str.strip()

Проверьте частоту значений:

dogs["get_along_cats"].value_counts()

No     2503
yes     275
no      156
Noo       2
NO        1   # < ---- no more whitespace

Регистр: .title(), .upper(), .lower()

dogs["get_along_cats"] = dogs["get_along_cats"].str.title()

Проверьте частоту значений:

dogs["get_along_cats"].value_counts()

No     2660 
Yes     275
Noo       2

Исправление опечатки с помощью .replace()

replace_map = {"Noo": "No"}
dogs["get_along_cats"].replace(replace_map, inplace=True)

Проверьте частоту значений:

dogs["get_along_cats"].value_counts()

No     2662
Yes     275

Проверка dtype

dogs["get_along_cats"].dtype

dtype('O')

Преобразование обратно в категорию

dogs["get_along_cats"] = dogs["get_along_cats"].astype("category")

Поиск строки

dogs["breed"].str.contains("Shepherd", regex=False)

0        False
1        False
2        False
...
2935     False
2936     True

Доступ к значениям Series по категории

dogs.loc[dogs["get_along_cats"] == "Yes", "size"]

Частота значений Series:

dogs.loc[dogs["get_along_cats"] == "Yes", "size"].value_counts(sort=False)

small      69
medium    169
large      37

Работа с категориальными данными в Python