Le compromis biais-variance

Validation de modèles en Python

Kasey Jones

Data Scientist

Variance

  • Variance : suivre de trop près les données d'entraînement
    • Ne se généralise pas aux données de test
    • Faible erreur d'entraînement mais forte erreur de test
    • Survient quand les modèles sont surajustés et très complexes
Validation de modèles en Python

Modèles surajustés (variance élevée)

Le surajustement survient quand nos prédictions collent trop aux données d'entraînement. Si, sur un nuage de points, toutes les prédictions s'alignent exactement sur les valeurs réelles, le modèle est sans doute surajusté.

Validation de modèles en Python

Biais

  • Biais : ne pas trouver la relation entre les données et la réponse
    • Erreur d'entraînement/de test élevée
    • Survient quand les modèles sont sous-ajustés
Validation de modèles en Python

Modèles sous-ajustés (biais élevé)

Le sous-ajustement survient quand une relation existe entre la variable à prédire et les variables explicatives du modèle, mais qu'elle n'est pas trouvée.

Validation de modèles en Python

Performance optimale

Les modèles bien ajustés trouvent la relation entre les variables explicatives et la réponse, tout en se généralisant bien à de nouvelles données.

Validation de modèles en Python

Paramètres causant sur/sous-ajustement

rfc = RandomForestClassifier(n_estimators=100, max_depth=4)
rfc.fit(X_train, y_train)


print("Training: {0:.2f}".format(accuracy_score(y_train, train_predictions)))

Training: .84

print("Testing: {0:.2f}".format(accuracy_score(y_test, test_predictions)))

Testing: .77
Validation de modèles en Python
rfc = RandomForestClassifier(n_estimators=100, max_depth=14)
rfc.fit(X_train, y_train)


print("Training: {0:.2f}".format(accuracy_score(y_train, train_predictions)))

Training: 1.0

print("Testing: {0:.2f}".format(accuracy_score(y_test, test_predictions)))

Testing: .83
Validation de modèles en Python
rfc = RandomForestClassifier(n_estimators=100, max_depth=10)
rfc.fit(X_train, y_train)


print("Training: {0:.2f}".format(accuracy_score(y_train, train_predictions)))

Training: .89

print("Testing: {0:.2f}".format(accuracy_score(y_test, test_predictions)))

Testing: .86
Validation de modèles en Python

Rappelez-vous : vous seul(e) pouvez éviter le surajustement !

Validation de modèles en Python

Preparing Video For Download...