Einheitlichkeit

Datenbereinigung in Python

Adel Nehme

VP of AI Curriculum, DataCamp

In diesem Kapitel

Kapitel 3 – Fortgeschrittene Datenprobleme

Einschränkungen des Datenbereichs

range_examples

Einheitlichkeit

Spalte	Einheit
Temperatur	`32°C` ist auch `89.6°F`
Gewicht	`70 Kg` ist auch `11 st.`
Datum	`26-11-2019` ist auch `26, November, 2019`
Geld	`100$` ist auch `10763.90¥`

Ein Beispiel

temperatures = pd.read_csv('temperature.csv')
temperatures.head()

       Date  Temperature
0  03.03.19         14.0
1  04.03.19         15.0
2  05.03.19         18.0
3  06.03.19         16.0
4  07.03.19         62.6

Ein Beispiel

temperatures = pd.read_csv('temperature.csv')
temperatures.head()

       Date  Temperature
0  03.03.19         14.0
1  04.03.19         15.0
2  05.03.19         18.0
3  06.03.19         16.0
4  07.03.19         62.6   <--

Ein Beispiel

# Import matplotlib
import matplotlib.pyplot as plt

# Create scatter plot
plt.scatter(x = 'Date', y = 'Temperature', data = temperatures)

# Create title, xlabel and ylabel
plt.title('Temperature in Celsius March 2019 - NYC')
plt.xlabel('Dates')
plt.ylabel('Temperature in Celsius')

# Show plot
plt.show()

Temperaturdaten bearbeiten

$$C = (F - 32) \times \frac{5}{9}$$

temp_fah = temperatures.loc[temperatures['Temperature'] > 40, 'Temperature']

temp_cels = (temp_fah - 32) * (5/9)

temperatures.loc[temperatures['Temperature'] > 40, 'Temperature'] = temp_cels

# Assert conversion is correct
assert temperatures['Temperature'].max() < 40

Behandlung von Datumsdaten

birthdays.head()

          Birthday First name Last name
0         27/27/19      Rowan     Nunez
1         03-29-19      Brynn      Yang
2  March 3rd, 2019     Sophia    Reilly
3         24-03-19     Deacon    Prince
4         06-03-19   Griffith      Neal

Behandlung von Datumsdaten

birthdays.head()

A table showing the output of the birthdays dataset - one row has a date in month, day, year format; another has it written out in full; a final row contains a format that is clearly an error - repeating the day component twice.

Datums- und Zeitformatierung

datetime ist praktisch, um Daten darzustellen

Datum	`datetime` Format
25-12-2019	`%d-%m-%Y`
December 25th 2019	`%c`
12-25-2019	`%m-%d-%Y`
...	...

pandas.to_datetime()

Kann die meisten Formate automatisch erkennen.
Manchmal klappt es nicht mit falschen oder nicht erkennbaren Formaten.

Behandlung von Datumsdaten

# Converts to datetime - but won't work!
birthdays['Birthday'] = pd.to_datetime(birthdays['Birthday'])

ValueError: month must be in 1..12

# Will work!
birthdays['Birthday'] = pd.to_datetime(birthdays['Birthday'],
                                       # Return NA for rows where conversion failed
                                       errors = 'coerce')

Behandlung von Datumsdaten

birthdays.head()

    Birthday First name Last name
0        NaT      Rowan     Nunez
1 2019-03-29      Brynn      Yang
2 2019-03-03     Sophia    Reilly
3 2019-03-24     Deacon    Prince
4 2019-06-03   Griffith      Neal

Behandlung von Datumsdaten

birthdays['Birthday'] = birthdays['Birthday'].dt.strftime("%d-%m-%Y")
birthdays.head()

     Birthday First name Last name
0         NaT      Rowan     Nunez
1  29-03-2019      Brynn      Yang
2  03-03-2019     Sophia    Reilly
3  24-03-2019     Deacon    Prince
4  03-06-2019   Griffith      Neal

Umgang mit unklaren Datumsangaben

Ist 2019-03-08 im August oder März?

Zu NA umwandeln und entsprechend behandeln
Das Format durch das Verstehen der Datenquelle ableiten
Das Format aus den vorherigen und nachfolgenden Daten im DataFrame ermitteln

Lass uns üben!

Datenbereinigung in Python