Bias-variansavvägningen

Modellvalidering i Python

Kasey Jones

Data Scientist

Varians

Varians: modellen följer träningsdatan för noga
- Generaliserar inte till testdata
- Lågt träningsfel men högt testfel
- Uppstår när modeller är överanpassade och har hög komplexitet

Överanpassade modeller (hög varians)

Överanpassning uppstår när förutsägelserna följer träningsdatan för noga. Om alla förutsägelser stämmer exakt med de verkliga värdena i ett spridningsdiagram är modellen troligen överanpassad.

Bias

Bias: modellen misslyckas med att hitta sambandet mellan data och utfall
- Högt tränings- och testfel
- Uppstår när modeller är underanpassade

Underanpassade modeller (hög bias)

Underanpassning uppstår när det finns ett samband mellan variabeln vi förutsäger och de prediktiva variablerna i modellen, men modellen misslyckas med att hitta det sambandet.

Optimal prestanda

Välbalanserade modeller hittar sambandet mellan de prediktiva variablerna och utfallet, och generaliserar dessutom väl till ny data.

Bias-Variance Tradeoff

Parametrar som orsakar över- och underanpassning

rfc = RandomForestClassifier(n_estimators=100, max_depth=4)
rfc.fit(X_train, y_train)


print("Training: {0:.2f}".format(accuracy_score(y_train, train_predictions)))

Training: .84

print("Testing: {0:.2f}".format(accuracy_score(y_test, test_predictions)))

Testing: .77

rfc = RandomForestClassifier(n_estimators=100, max_depth=14)
rfc.fit(X_train, y_train)


print("Training: {0:.2f}".format(accuracy_score(y_train, train_predictions)))

Training: 1.0

print("Testing: {0:.2f}".format(accuracy_score(y_test, test_predictions)))

Testing: .83

rfc = RandomForestClassifier(n_estimators=100, max_depth=10)
rfc.fit(X_train, y_train)


print("Training: {0:.2f}".format(accuracy_score(y_train, train_predictions)))

Training: .89

print("Testing: {0:.2f}".format(accuracy_score(y_test, test_predictions)))

Testing: .86

Kom ihåg: det är du som kan förhindra överanpassning!

Modellvalidering i Python