Compromisul bias-varianță

Validarea modelelor în Python

Kasey Jones

Data Scientist

Varianța

Varianță: urmărirea prea strictă a datelor de antrenament
- Eșuează la generalizarea pe datele de test
- Eroare de antrenament mică, dar eroare de testare mare
- Apare când modelele sunt supraajustate și au complexitate ridicată

Modele supraajustate (varianță ridicată)

Supraajustarea apare când predicțiile urmăresc prea îndeaproape datele de antrenament. Dacă toate predicțiile coincid exact cu valorile reale într-un grafic scatter, modelul este probabil supraajustat.

Biasul

Bias: eșecul de a găsi relația dintre date și răspuns
- Eroare mare la antrenament și testare
- Apare când modelele sunt subajustate

Modele subajustate (bias ridicat)

Subajustarea apare când există o relație între variabila prezisă și variabilele predictive, dar modelul nu a reușit să o identifice.

Performanță optimă

Modelele bine ajustate identifică relația dintre variabilele predictive și răspuns, generalizând totodată bine pe date noi.

Compromisul Bias-Varianță

Parametri care cauzează supra/subajustare

rfc = RandomForestClassifier(n_estimators=100, max_depth=4)
rfc.fit(X_train, y_train)


print("Training: {0:.2f}".format(accuracy_score(y_train, train_predictions)))

Training: .84

print("Testing: {0:.2f}".format(accuracy_score(y_test, test_predictions)))

Testing: .77

rfc = RandomForestClassifier(n_estimators=100, max_depth=14)
rfc.fit(X_train, y_train)


print("Training: {0:.2f}".format(accuracy_score(y_train, train_predictions)))

Training: 1.0

print("Testing: {0:.2f}".format(accuracy_score(y_test, test_predictions)))

Testing: .83

rfc = RandomForestClassifier(n_estimators=100, max_depth=10)
rfc.fit(X_train, y_train)


print("Training: {0:.2f}".format(accuracy_score(y_train, train_predictions)))

Training: .89

print("Testing: {0:.2f}".format(accuracy_score(y_test, test_predictions)))

Testing: .86

Nu uitați: numai dumneavoastră puteți preveni supraajustarea!

Validarea modelelor în Python