Czyszczenie i ulepszanie danych

Uczenie maszynowe dla danych szeregów czasowych w Pythonie

Chris Holdgraf

Fellow, Berkeley Institute for Data Science

Dane są nieuporządkowane

Dane rzeczywiste są często nieuporządkowane
Dwa najczęstsze problemy to brakujące dane i wartości odstające
Wynikają z błędów ludzkich, awarii czujników, błędów bazy danych itp.
Wizualizacja surowych danych ułatwia wykrycie tych problemów

Jak wyglądają nieuporządkowane dane

Interpolacja: uzupełnianie brakujących danych

Powszechnym sposobem radzenia sobie z brakującymi danymi jest interpolacja
W przypadku szeregów czasowych można wykorzystać czas jako pomoc w interpolacji.
Interpolacja polega na użyciu znanych wartości po obu stronach luki do oszacowania brakujących wartości.

Interpolacja w Pandas

# Return a boolean that notes where missing values are
missing = prices.isna()

# Interpolate linearly within missing windows
prices_interp = prices.interpolate('linear')

# Plot the interpolated data in red and the data w/ missing values in black
ax = prices_interp.plot(c='r')
prices.plot(c='k', ax=ax, lw=2)

Wizualizacja interpolowanych danych

Transformacja danych z użyciem okna kroczącego

Okna kroczące służą również do transformacji danych
Użyliśmy już tego do wygładzania danych
Można je jednak stosować do bardziej złożonych przekształceń

Transformacja danych w celu standaryzacji wariancji

Częstą transformacją jest standaryzacja średniej i wariancji w czasie. Można to zrobić na wiele sposobów.
Pokażemy, jak przekształcić dane tak, aby każdy punkt reprezentował % zmianę względem poprzedniego okna.
Dzięki temu punkty czasowe są lepiej porównywalne, gdy wartości bezwzględne danych znacznie się zmieniają

Transformacja na zmianę procentową w Pandas

def percent_change(values):
    """Calculates the % change between the last value 
    and the mean of previous values"""
    # Separate the last value and all previous values into variables
    previous_values = values[:-1]
    last_value = values[-1]

    # Calculate the % difference between the last value 
    # and the mean of earlier values
    percent_change = (last_value - np.mean(previous_values)) \
    / np.mean(previous_values)
    return percent_change

Zastosowanie do naszych danych

# Plot the raw data
fig, axs = plt.subplots(1, 2, figsize=(10, 5))
ax = prices.plot(ax=axs[0])

# Calculate % change and plot
ax = prices.rolling(window=20).aggregate(percent_change).plot(ax=axs[1])
ax.legend_.set_visible(False)

Wykrywanie wartości odstających

Wartości odstające to punkty danych statystycznie znacznie różniące się od zbioru.
Mogą negatywnie wpływać na moc predykcyjną modelu, odchylając go od „prawdziwej" wartości
Rozwiązaniem jest usunięcie lub zastąpienie wartości odstających bardziej reprezentatywną wartością

Należy zachować ostrożność – często trudno odróżnić wartość ekstremalną od aberracji

Wyznaczanie progu na danych

fig, axs = plt.subplots(1, 2, figsize=(10, 5))
for data, ax in zip([prices, prices_perc_change], axs):
    # Calculate the mean / standard deviation for the data
    this_mean = data.mean()
    this_std = data.std()

    # Plot the data, with a window that is 3 standard deviations 
    # around the mean
    data.plot(ax=ax)
    ax.axhline(this_mean + this_std * 3, ls='--', c='r')
    ax.axhline(this_mean - this_std * 3, ls='--', c='r')

Wizualizacja progów wartości odstających

Zastępowanie wartości odstających z użyciem progu

# Center the data so the mean is 0
prices_outlier_centered = prices_outlier_perc - prices_outlier_perc.mean()

# Calculate standard deviation
std = prices_outlier_perc.std()

# Use the absolute value of each datapoint 
# to make it easier to find outliers
outliers = np.abs(prices_outlier_centered) > (std * 3)

# Replace outliers with the median value
# We'll use np.nanmean since there may be nans around the outliers
prices_outlier_fixed = prices_outlier_centered.copy()
prices_outlier_fixed[outliers] = np.nanmedian(prices_outlier_fixed)

Wizualizacja wyników

fig, axs = plt.subplots(1, 2, figsize=(10, 5))
prices_outlier_centered.plot(ax=axs[0])
prices_outlier_fixed.plot(ax=axs[1])

Ćwiczmy!

Uczenie maszynowe dla danych szeregów czasowych w Pythonie