Diagnostiquer les problèmes de biais et de variance

Machine Learning avec des modèles à base d'arbres en Python

Elie Kawerk

Data Scientist

Estimer l'erreur de généralisation

Comment estimer l'erreur de généralisation d'un modèle?
Impossible directement, car :
- $f$ est inconnue,
- on n'a généralement qu'un seul ensemble de données,
- le bruit est imprévisible.

Estimer l'erreur de généralisation

Solution :

diviser les données en ensembles d'entraînement et de test,
ajuster $\hat{f}$ sur l'entraînement,
évaluer l'erreur de $\hat{f}$ sur l'ensemble de test non vu.
erreur de généralisation de $\hat{f} \approx$ erreur sur l'ensemble de test de $\hat{f}$.

Mieux évaluer avec la validation croisée

L'ensemble de test ne doit pas être utilisé avant d'être confiant quant au rendement de $\hat{f}$.
Évaluer $\hat{f}$ sur l'entraînement : estimation biaisée, $\hat{f}$ a déjà vu tous les points d'entraînement.
Solution $\rightarrow$ validation croisée (CV) :
- CV en K volets,
- CV par retenue.

CV en K volets

Validation croisée en K volets

CV en K volets

Erreur en validation croisée

Diagnostiquer les problèmes de variance

Si $\hat{f}$ présente une forte variance :

l'erreur CV de $\hat{f}$ > l'erreur d'entraînement de $\hat{f}$.

$\hat{f}$ surajuste l'entraînement. Pour y remédier :
- réduire la complexité du modèle,
- p. ex. réduire la profondeur max, augmenter le min. d'exemples par feuille, …
- recueillir plus de données, …

Diagnostiquer les problèmes de biais

Si $\hat{f}$ présente un fort biais :

l'erreur CV de $\hat{f} \approx$ l'erreur d'entraînement de $\hat{f} >>$ l'erreur visée.
$\hat{f}$ sous-ajuste l'entraînement. Pour y remédier :
- augmenter la complexité du modèle
- p. ex. augmenter la profondeur max, diminuer le min. d'exemples par feuille, …
- ajouter des caractéristiques plus pertinentes

CV en K volets avec sklearn sur l'ensemble Auto

from sklearn.tree import DecisionTreeRegressor
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error as MSE
from sklearn.model_selection import cross_val_score

# Set seed for reproducibility
SEED = 123
# Split data into 70% train and 30% test
X_train, X_test, y_train, y_test = train_test_split(X,y,
                                                    test_size=0.3, 
                                                    random_state=SEED)

# Instantiate decision tree regressor and assign it to 'dt'
dt = DecisionTreeRegressor(max_depth=4, 
                           min_samples_leaf=0.14,
                           random_state=SEED)

CV en K volets avec sklearn sur l'ensemble Auto

# Evaluate the list of MSE ontained by 10-fold CV 
# Set n_jobs to -1 in order to exploit all CPU cores in computation
MSE_CV = - cross_val_score(dt, X_train, y_train, cv= 10, 
                           scoring='neg_mean_squared_error',
                           n_jobs = -1)

# Fit 'dt' to the training set                        
dt.fit(X_train, y_train)
# Predict the labels of training set
y_predict_train = dt.predict(X_train)
# Predict the labels of test set
y_predict_test = dt.predict(X_test)

# CV MSE  
print('CV MSE: {:.2f}'.format(MSE_CV.mean()))

CV MSE: 20.51

# Training set MSE
print('Train MSE: {:.2f}'.format(MSE(y_train, y_predict_train)))

Train MSE: 15.30

# Test set MSE
print('Test MSE: {:.2f}'.format(MSE(y_test, y_predict_test)))

Test MSE: 20.92

Passons à la pratique !

Machine Learning avec des modèles à base d'arbres en Python