Ograniczenia typów danych

Czyszczenie danych w Pythonie

Adel Nehme

VP of AI Curriculum, DataCamp

Plan kursu

brudne dane

Plan kursu

efekty uboczne

Plan kursu

czyste dane

Plan kursu

czyste dane

Rozdział 1 - Typowe problemy z danymi

Dlaczego należy czyścić dane?

przepływ pracy ds

Dlaczego należy czyścić dane?

przepływ pracy ds

Dlaczego należy czyścić dane?

Śmieci na wejściu, śmieci na wyjściu

Ograniczenia typów danych

Typ danych	Przykład
Tekstowe	Imię, nazwisko, adres ...
Liczby całkowite	Liczba subskrybentów, sprzedanych produktów ...
Liczby dziesiętne	Temperatura, kursy walut ...
Binarne	Czy zamężna/żonaty, nowy klient, tak/nie, ...
Daty	Daty zamówień, daty wysyłki ...
Kategorie	Stan cywilny, płeć ...

Typ w Pythonie
`str`
`int`
`float`
`bool`
`datetime`
`category`

Ciągi znaków na liczby całkowite

# Import CSV file and output header
sales = pd.read_csv('sales.csv')
sales.head(2)

   SalesOrderID    Revenue    Quantity
0         43659     23153$          12
1         43660      1457$           2

# Get data types of columns
sales.dtypes

SalesOrderID    int64
Revenue         object
Quantity        int64
dtype: object

Ciągi znaków na liczby całkowite

# Get DataFrame information
sales.info()

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 31465 entries, 0 to 31464
Data columns (total 3 columns):
SalesOrderID     31465 non-null int64
Revenue          31465 non-null object
Quantity         31465 non-null int64
dtypes: int64(2), object(1)
memory usage: 737.5+ KB

Ciągi znaków na liczby całkowite

# Print sum of all Revenue column
sales['Revenue'].sum()

'23153$1457$36865$32474$472$27510$16158$5694$6876$40487$807$6893$9153$6895$4216..

# Remove $ from Revenue column
sales['Revenue'] = sales['Revenue'].str.strip('$')
sales['Revenue'] = sales['Revenue'].astype('int')

# Verify that Revenue is now an integer
assert sales['Revenue'].dtype == 'int'

Instrukcja assert

# This will pass
assert 1+1 == 2

# This will not pass
assert 1+1 == 3

AssertionError                            Traceback (most recent call last)
         assert 1+1 == 3
AssertionError:

Numeryczny czy kategoryczny?

...   marriage_status    ...
...                 3    ...
...                 1    ...
...                 2    ...

0 = Kawaler/Panna 1 = Żonaty/Zamężna 2 = W separacji 3 = Rozwiedziony/a

df['marriage_status'].describe()

       marriage_status
...
mean              1.4
std               0.20
min               0.00
50%               1.8 ...

Numeryczny czy kategoryczny?

# Convert to categorical
df["marriage_status"] = df["marriage_status"].astype('category')

df.describe()

        marriage_status
count                 241
unique                4
top                   1
freq                  120

Czas na ćwiczenia!

Czyszczenie danych w Pythonie