Membersihkan dan meningkatkan data Anda

Machine Learning untuk Data Deret Waktu di Python

Chris Holdgraf

Fellow, Berkeley Institute for Data Science

Data itu berantakan

Data dunia nyata sering berantakan
Dua masalah paling umum adalah data hilang dan pencilan
Ini sering terjadi karena kesalahan manusia, sensor mesin rusak, kegagalan basis data, dll.
Visualisasi data mentah memudahkan Anda mendeteksi masalah ini

Seperti apa data berantakan

Interpolasi: menggunakan waktu untuk mengisi data hilang

Cara umum menangani data hilang adalah menginterpolasi nilai yang hilang
Dengan data deret waktu, Anda dapat menggunakan waktu untuk membantu interpolasi.
Di sini, interpolasi berarti menggunakan nilai diketahui di kedua sisi celah data untuk memperkirakan yang hilang.

Interpolasi di Pandas

# Return a boolean that notes where missing values are
missing = prices.isna()

# Interpolate linearly within missing windows
prices_interp = prices.interpolate('linear')

# Plot the interpolated data in red and the data w/ missing values in black
ax = prices_interp.plot(c='r')
prices.plot(c='k', ax=ax, lw=2)

Memvisualisasikan data hasil interpolasi

Menggunakan jendela rolling untuk mentransformasi data

Penggunaan umum lain dari jendela rolling adalah mentransformasi data
Kita sudah melakukannya sekali untuk menghaluskan data
Namun, kita juga bisa menggunakannya untuk transformasi yang lebih kompleks

Transformasi untuk menstandarkan varians

Transformasi umum adalah menstandarkan mean dan varians data dari waktu ke waktu. Ada banyak cara.
Di sini, kita ubah setiap titik menjadi % perubahan terhadap jendela sebelumnya.
Ini membuat titik waktu lebih sebanding jika nilai absolut data banyak berubah

Transformasi ke persentase perubahan dengan Pandas

def percent_change(values):
    """Calculates the % change between the last value 
    and the mean of previous values"""
    # Separate the last value and all previous values into variables
    previous_values = values[:-1]
    last_value = values[-1]

    # Calculate the % difference between the last value 
    # and the mean of earlier values
    percent_change = (last_value - np.mean(previous_values)) \
    / np.mean(previous_values)
    return percent_change

Menerapkan ini pada data kita

# Plot the raw data
fig, axs = plt.subplots(1, 2, figsize=(10, 5))
ax = prices.plot(ax=axs[0])

# Calculate % change and plot
ax = prices.rolling(window=20).aggregate(percent_change).plot(ax=axs[1])
ax.legend_.set_visible(False)

Menemukan pencilan dalam data Anda

Pencilan adalah titik data yang secara statistik sangat berbeda dari kumpulan data.
Ini dapat menurunkan daya prediktif model Anda, membuatnya bias dari nilai "sebenarnya"
Salah satu solusi adalah menghapus atau mengganti pencilan dengan nilai yang lebih representatif

Berhati-hatilah saat melakukannya — sering sulit membedakan nilai ekstrem yang sah vs. penyimpangan

Memplot ambang pada data kita

fig, axs = plt.subplots(1, 2, figsize=(10, 5))
for data, ax in zip([prices, prices_perc_change], axs):
    # Calculate the mean / standard deviation for the data
    this_mean = data.mean()
    this_std = data.std()

    # Plot the data, with a window that is 3 standard deviations 
    # around the mean
    data.plot(ax=ax)
    ax.axhline(this_mean + this_std * 3, ls='--', c='r')
    ax.axhline(this_mean - this_std * 3, ls='--', c='r')

Memvisualisasikan ambang pencilan

Mengganti pencilan menggunakan ambang

# Center the data so the mean is 0
prices_outlier_centered = prices_outlier_perc - prices_outlier_perc.mean()

# Calculate standard deviation
std = prices_outlier_perc.std()

# Use the absolute value of each datapoint 
# to make it easier to find outliers
outliers = np.abs(prices_outlier_centered) > (std * 3)

# Replace outliers with the median value
# We'll use np.nanmean since there may be nans around the outliers
prices_outlier_fixed = prices_outlier_centered.copy()
prices_outlier_fixed[outliers] = np.nanmedian(prices_outlier_fixed)

Visualisasikan hasilnya

fig, axs = plt.subplots(1, 2, figsize=(10, 5))
prices_outlier_centered.plot(ax=axs[0])
prices_outlier_fixed.plot(ax=axs[1])

Ayo berlatih!

Machine Learning untuk Data Deret Waktu di Python