Ограничения типов данных

Очистка данных в Python

Adel Nehme

VP of AI Curriculum, DataCamp

Структура курса

dirty_data

Структура курса

side effects

Структура курса

clean_data

Структура курса

clean_data

Глава 1 — Типичные проблемы данных

Зачем нужна очистка данных?

ds_workflow

Зачем нужна очистка данных?

ds_workflow

Зачем нужна очистка данных?

Garbage in Garbage out

Ограничения типов данных

Тип данных	Пример
Текстовые	Имя, фамилия, адрес ...
Целые числа	Число подписчиков, продано единиц товара ...
Дробные числа	Температура, обменные курсы ...
Бинарные	Женат/замужем, новый клиент, да/нет ...
Даты	Дата заказа, дата отправки ...
Категориальные	Семейное положение, пол ...

Тип данных Python
`str`
`int`
`float`
`bool`
`datetime`
`category`

Строки в целые числа

# Import CSV file and output header
sales = pd.read_csv('sales.csv')
sales.head(2)

   SalesOrderID    Revenue    Quantity
0         43659     23153$          12
1         43660      1457$           2

# Get data types of columns
sales.dtypes

SalesOrderID    int64
Revenue         object
Quantity        int64
dtype: object

Строки в целые числа

# Get DataFrame information
sales.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 31465 entries, 0 to 31464
Data columns (total 3 columns):
SalesOrderID     31465 non-null int64
Revenue          31465 non-null object
Quantity         31465 non-null int64
dtypes: int64(2), object(1)
memory usage: 737.5+ KB

Строки в целые числа

# Print sum of all Revenue column
sales['Revenue'].sum()

'23153$1457$36865$32474$472$27510$16158$5694$6876$40487$807$6893$9153$6895$4216..

# Remove $ from Revenue column
sales['Revenue'] = sales['Revenue'].str.strip('$')
sales['Revenue'] = sales['Revenue'].astype('int')

# Verify that Revenue is now an integer
assert sales['Revenue'].dtype == 'int'

Оператор assert

# This will pass
assert 1+1 == 2

# This will not pass
assert 1+1 == 3

AssertionError                            Traceback (most recent call last)
         assert 1+1 == 3
AssertionError:

Числовой или категориальный?

...   marriage_status    ...
...                 3    ...
...                 1    ...
...                 2    ...

0 = Никогда не состоял в браке 1 = В браке 2 = Разлучён 3 = Разведён

df['marriage_status'].describe()

       marriage_status
...
mean              1.4
std               0.20
min               0.00
50%               1.8 ...

Числовой или категориальный?

# Convert to categorical
df["marriage_status"] = df["marriage_status"].astype('category')

df.describe()

        marriage_status
count                 241
unique                4
top                   1
freq                  120

Давайте потренируемся!

Очистка данных в Python