Omezení datových typů

Čištění dat v Pythonu

Adel Nehme

VP of AI Curriculum, DataCamp

Přehled kurzu

znečištěná data

Přehled kurzu

vedlejší účinky

Přehled kurzu

čistá data

Přehled kurzu

čistá data

Kapitola 1 – Běžné problémy s daty

Proč je třeba čistit data?

pracovní postup datové vědy

Proč je třeba čistit data?

pracovní postup datové vědy

Proč je třeba čistit data?

Garbage in Garbage out

Omezení datových typů

Datový typ	Příklad
Textová data	Jméno, příjmení, adresa ...
Celá čísla	Počet odběratelů, prodaných produktů ...
Desetinná čísla	Teplota, směnné kurzy ...
Binární	Je ženatý/vdaná, nový zákazník, ano/ne, ...
Data	Datum objednávky, datum odeslání ...
Kategorie	Rodinný stav, pohlaví ...

Datový typ v Pythonu
`str`
`int`
`float`
`bool`
`datetime`
`category`

Řetězce na celá čísla

# Import CSV file and output header
sales = pd.read_csv('sales.csv')
sales.head(2)

   SalesOrderID    Revenue    Quantity
0         43659     23153$          12
1         43660      1457$           2

# Get data types of columns
sales.dtypes

SalesOrderID    int64
Revenue         object
Quantity        int64
dtype: object

Řetězce na celá čísla

# Get DataFrame information
sales.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 31465 entries, 0 to 31464
Data columns (total 3 columns):
SalesOrderID     31465 non-null int64
Revenue          31465 non-null object
Quantity         31465 non-null int64
dtypes: int64(2), object(1)
memory usage: 737.5+ KB

Řetězce na celá čísla

# Print sum of all Revenue column
sales['Revenue'].sum()

'23153$1457$36865$32474$472$27510$16158$5694$6876$40487$807$6893$9153$6895$4216..

# Remove $ from Revenue column
sales['Revenue'] = sales['Revenue'].str.strip('$')
sales['Revenue'] = sales['Revenue'].astype('int')

# Verify that Revenue is now an integer
assert sales['Revenue'].dtype == 'int'

Příkaz assert

# This will pass
assert 1+1 == 2

# This will not pass
assert 1+1 == 3

AssertionError                            Traceback (most recent call last)
         assert 1+1 == 3
AssertionError:

Numerická, nebo kategorická hodnota?

...   marriage_status    ...
...                 3    ...
...                 1    ...
...                 2    ...

0 = Nikdy ženatý/vdaná 1 = Ženatý/vdaná 2 = Odloučený/á 3 = Rozvedený/á

df['marriage_status'].describe()

       marriage_status
...
mean              1.4
std               0.20
min               0.00
50%               1.8 ...

Numerická, nebo kategorická hodnota?

# Convert to categorical
df["marriage_status"] = df["marriage_status"].astype('category')

df.describe()

        marriage_status
count                 241
unique                4
top                   1
freq                  120

Pojďme si procvičit!

Čištění dat v Pythonu