Keseragaman

Membersihkan Data di Python

Adel Nehme

VP of AI Curriculum, DataCamp

Di bab ini

Bab 3 - Masalah data lanjutan

Kendala rentang data

range_examples

Keseragaman

Kolom	Satuan
Suhu	`32°C` juga `89.6°F`
Berat	`70 Kg` juga `11 st.`
Tanggal	`26-11-2019` juga `26, November, 2019`
Uang	`100$` juga `10763.90¥`

Contoh

temperatures = pd.read_csv('temperature.csv')
temperatures.head()

       Date  Temperature
0  03.03.19         14.0
1  04.03.19         15.0
2  05.03.19         18.0
3  06.03.19         16.0
4  07.03.19         62.6

Contoh

temperatures = pd.read_csv('temperature.csv')
temperatures.head()

       Date  Temperature
0  03.03.19         14.0
1  04.03.19         15.0
2  05.03.19         18.0
3  06.03.19         16.0
4  07.03.19         62.6   <--

Contoh

# Import matplotlib
import matplotlib.pyplot as plt

# Buat scatter plot
plt.scatter(x = 'Date', y = 'Temperature', data = temperatures)

# Buat judul, xlabel, dan ylabel
plt.title('Temperature in Celsius March 2019 - NYC')
plt.xlabel('Dates')
plt.ylabel('Temperature in Celsius')

# Tampilkan plot
plt.show()

Menangani data suhu

$$C = (F - 32) \times \frac{5}{9}$$

temp_fah = temperatures.loc[temperatures['Temperature'] > 40, 'Temperature']

temp_cels = (temp_fah - 32) * (5/9)

temperatures.loc[temperatures['Temperature'] > 40, 'Temperature'] = temp_cels

# Pastikan konversi benar
assert temperatures['Temperature'].max() < 40

Menangani data tanggal

birthdays.head()

          Birthday First name Last name
0         27/27/19      Rowan     Nunez
1         03-29-19      Brynn      Yang
2  March 3rd, 2019     Sophia    Reilly
3         24-03-19     Deacon    Prince
4         06-03-19   Griffith      Neal

Menangani data tanggal

birthdays.head()

Tabel yang menampilkan keluaran dataset birthdays - satu baris memiliki tanggal dalam format bulan, hari, tahun; lainnya ditulis lengkap; satu baris jelas salah - komponen hari terduplikasi.

Pemformatan datetime

datetime berguna untuk merepresentasikan tanggal

Date	Format `datetime`
25-12-2019	`%d-%m-%Y`
December 25th 2019	`%c`
12-25-2019	`%m-%d-%Y`
...	...

pandas.to_datetime()

Dapat mengenali sebagian besar format otomatis
Terkadang gagal untuk format yang salah atau tak dikenali

Menangani data tanggal

# Konversi ke datetime - tetapi tidak akan berhasil!
birthdays['Birthday'] = pd.to_datetime(birthdays['Birthday'])

ValueError: month must be in 1..12

# Ini berhasil!
birthdays['Birthday'] = pd.to_datetime(birthdays['Birthday'],
                                       # Kembalikan NA untuk baris yang gagal dikonversi
                                       errors = 'coerce')

Menangani data tanggal

birthdays.head()

    Birthday First name Last name
0        NaT      Rowan     Nunez
1 2019-03-29      Brynn      Yang
2 2019-03-03     Sophia    Reilly
3 2019-03-24     Deacon    Prince
4 2019-06-03   Griffith      Neal

Menangani data tanggal

birthdays['Birthday'] = birthdays['Birthday'].dt.strftime("%d-%m-%Y")
birthdays.head()

     Birthday First name Last name
0         NaT      Rowan     Nunez
1  29-03-2019      Brynn      Yang
2  03-03-2019     Sophia    Reilly
3  24-03-2019     Deacon    Prince
4  03-06-2019   Griffith      Neal

Menangani tanggal ambigu

Apakah 2019-03-08 Agustus atau Maret?

Ubah ke NA dan tangani sesuai kebutuhan
Taksir format dengan memahami sumber data
Taksir format dari data sebelum dan sesudah di DataFrame

Ayo berlatih!

Membersihkan Data di Python