Introduktion till modellvalidering

Modellvalidering i Python

Kasey Jones

Data Scientist

Vad är modellvalidering?

Modellvalidering innebär:

Att säkerställa att modellen fungerar som förväntat på nya data
Att testa modellens prestanda på hållbackdatamängder
Att välja bästa modell, parametrar och noggrannhetsmått
Att uppnå bästa möjliga noggrannhet för given data

Repetition: modellering med scikit-learn

Grundläggande modelleringssteg:

model = RandomForestRegressor(n_estimators=500, random_state=1111)

model.fit(X=X_train, y=y_train)

RandomForestRegressor(bootstrap=True, criterion='mse', max_depth=None,
           max_features='auto', max_leaf_nodes=None,
           min_impurity_decrease=0.0, min_impurity_split=None,
           min_samples_leaf=1, min_samples_split=2,
           min_weight_fraction_leaf=0.0, n_estimators=500, n_jobs=1,
           oob_score=False, random_state=1111, verbose=0, warm_start=False)

Modellering – fortsättning

predictions = model.predict(X_test)

print("{0:.2f}".format(mae(y_true=y_test, y_pred=predictions)))

10.84

Formeln för medelabsolutfel

$$ \frac{\sum_{i=1}^{n} |y_i - \hat{y}_i|}{n} $$

Förkunskapskrav

Fivethirtyeight har flera datamängder, bland annat datasetet Halloween Candy Power Ranking. Varje godis har en vinstprocent i direktmöten mellan 0 och 100 %.

Sedd vs. osedd data

Träningsdata = sedd data

model = RandomForestRegressor(n_estimators=500, random_state=1111)
model.fit(X_train, y_train)
train_predictions = model.predict(X_train)

Testdata = osedd data

model = RandomForestRegressor(n_estimators=500, random_state=1111)
model.fit(X_train, y_train)
test_predictions = model.predict(X_test)

Nu kör vi en övning!

Modellvalidering i Python