Bereikbeperkingen voor data

Data opschonen in Python

Adel Nehme

VP of AI Curriculum, DataCamp

Motivatie

movies.head()

     movie_name     avg_rating
0    The Godfather           5
1    Frozen 2                3
2    Shrek                   4
...

Motivatie

import matplotlib.pyplot as plt
plt.hist(movies['avg_rating'])
plt.title('Gemiddelde beoordeling van films (1-5)')

hartslag_normaal

Motivatie

Kunnen toekomstige aanmeldingen bestaan?

# Importeer datetime
import datetime as dt
today_date = dt.date.today()
user_signups[user_signups['subscription_date'] > dt.date.today()]

   subscription_date  user_name         ...             Country
0         01/05/2021      Marah         ...             Nauru
1         09/08/2020     Joshua         ...             Austria
2         04/01/2020      Heidi         ...             Guinea
3         11/10/2020       Rina         ...             Turkmenistan
4         11/07/2020  Christine         ...             Marshall Islands
5         07/07/2020     Ayanna         ...             Gabon

Hoe ga je om met data buiten bereik?

Data verwijderen
Eigen minima en maxima instellen
Als ontbrekend behandelen en imputeren
Waarde zetten op basis van zakelijke aannames

Voorbeeld: films

import pandas as pd
# Toon films met rating > 5
movies[movies['avg_rating'] > 5]

         movie_name  avg_rating
23  A Beautiful Mind           6
65   La Vita e Bella           6
77            Amelie           6

# Verwijderen via filtering
movies = movies[movies['avg_rating'] <= 5]

# Verwijderen met .drop()
movies.drop(movies[movies['avg_rating'] > 5].index, inplace = True)

# Resultaten controleren
assert movies['avg_rating'].max() <= 5

Voorbeeld: films

# Zet avg_rating > 5 op 5
movies.loc[movies['avg_rating'] > 5, 'avg_rating'] = 5

# Assert-statement
assert movies['avg_rating'].max() <= 5

Onthoud: geen output betekent geslaagd

Voorbeeld: datumbereik

import datetime as dt
import pandas as pd
# Geef datatypen weer
user_signups.dtypes

subscription_date    object
user_name            object
Country              object
dtype: object

# Converteren naar datum
user_signups['subscription_date'] = pd.to_datetime(user_signups['subscription_date']).dt.date

Voorbeeld: datumbereik

today_date = dt.date.today()

Verwijder de data

# Verwijderen via filtering
user_signups = user_signups[user_signups['subscription_date'] < today_date]

# Verwijderen met .drop()
user_signups.drop(user_signups[user_signups['subscription_date'] > today_date].index, inplace = True)

Hardcode datums met bovengrens

# Vervang via filtering
user_signups.loc[user_signups['subscription_date'] > today_date, 'subscription_date'] = today_date
# Assert is waar
assert user_signups.subscription_date.max().date() <= today_date

Laten we oefenen!

Data opschonen in Python