Korsvalidering av tidsseriedata

Maskininlärning för tidsseriedata i Python

Chris Holdgraf

Fellow, Berkeley Institute for Data Science

Korsvalidering med scikit-learn

# Iterating over the "split" method yields train/test indices
for tr, tt in cv.split(X, y):
    model.fit(X[tr], y[tr])
    model.score(X[tt], y[tt])

Typer av korsvalidering: KFold

KFold-korsvalidering delar upp data i flera "folds" av samma storlek

Det är en av de vanligaste korsvalideringsmetoderna

  from sklearn.model_selection import KFold
  cv = KFold(n_splits=5)
  for tr, tt in cv.split(X, y):
      ...

Visualisera modellprediktioner

fig, axs = plt.subplots(2, 1)

# Plot the indices chosen for validation on each loop
axs[0].scatter(tt, [0] * len(tt), marker='_', s=2, lw=40)
axs[0].set(ylim=[-.1, .1], title='Test set indices (color=CV loop)', 
           xlabel='Index of raw data')

# Plot the model predictions on each iteration
axs[1].plot(model.predict(X[tt]))
axs[1].set(title='Test set predictions on each CV loop', 
           xlabel='Prediction index')

Visualisera KFold CV-beteende

Om att blanda data

Många CV-iteratorer låter dig blanda data som en del av korsvalideringsprocessen.
Det fungerar bara om data är i.i.d., vilket tidsserier vanligtvis inte är.

Du bör inte blanda data när du gör prediktioner med tidsserier.

  from sklearn.model_selection import ShuffleSplit

  cv = ShuffleSplit(n_splits=3)
  for tr, tt in cv.split(X, y):
      ...

Visualisera blandat CV-beteende

Använda CV-iteratorn för tidsserier

Hittills har vi brutit mot tidens linjära ordning i korsvalideringen
Du bör i allmänhet inte använda framtida datapunkter för att predicera det förflutna
En strategi: Använd alltid träningsdata från det förflutna för att predicera framtiden

Visualisera CV-iteratorer för tidsserier

# Import and initialize the cross-validation iterator
from sklearn.model_selection import TimeSeriesSplit
cv = TimeSeriesSplit(n_splits=10)

fig, ax = plt.subplots(figsize=(10, 5))
for ii, (tr, tt) in enumerate(cv.split(X, y)):
    # Plot training and test indices
    l1 = ax.scatter(tr, [ii] * len(tr), c=[plt.cm.coolwarm(.1)], 
                    marker='_', lw=6)
    l2 = ax.scatter(tt, [ii] * len(tt), c=[plt.cm.coolwarm(.9)], 
                    marker='_', lw=6)
    ax.set(ylim=[10, -1], title='TimeSeriesSplit behavior', 
           xlabel='data index', ylabel='CV iteration')
    ax.legend([l1, l2], ['Training', 'Validation'])

Visualisera TimeSeriesSplit-iteratorn för korsvalidering

Anpassade poängfunktioner i scikit-learn

def myfunction(estimator, X, y):
    y_pred = estimator.predict(X)
    my_custom_score = my_custom_function(y_pred, y)
    return my_custom_score

En anpassad korrelationsfunktion för scikit-learn

def my_pearsonr(est, X, y):
    # Generate predictions and convert to a vector 
    y_pred = est.predict(X).squeeze()

    # Use the numpy "corrcoef" function to calculate a correlation matrix
    my_corrcoef_matrix = np.corrcoef(y_pred, y.squeeze())

    # Return a single correlation value from the matrix
    my_corrcoef = my_corrcoef[1, 0]
    return my_corrcoef

Nu kör vi en övning!

Maskininlärning för tidsseriedata i Python