Optimisation des hyperparamètres

Apprentissage supervisé avec scikit-learn

George Boorman

Core Curriculum Manager

Optimisation des hyperparamètres

Régression ridge/lasso : choisir alpha
KNN : choisir n_neighbors
Hyperparamètres : paramètres à fixer avant d'ajuster le modèle
- Comme alpha et n_neighbors

Choisir les bons hyperparamètres

Essayer de nombreuses valeurs d'hyperparamètres
Ajuster chaque modèle séparément
Évaluer leur performance
Choisir les meilleures valeurs

C'est l'optimisation des hyperparamètres
Indispensable : utiliser la validation croisée pour éviter le surapprentissage sur l'ensemble de test
On peut toujours scinder les données et faire la validation croisée sur l'ensemble d'entraînement
On réserve l'ensemble de test pour l'évaluation finale

Validation croisée par recherche sur grille

grille de valeurs possibles de n_neighbors de 2 à 11 par pas de 3, et options de métrique euclidean ou manhattan

Validation croisée par recherche sur grille

scores de validation croisée k-fold pour chaque combinaison d'hyperparamètres de la grille

Validation croisée par recherche sur grille

5 neighbors et métrique euclidean en surbrillance, avec un score de 0,8748

GridSearchCV dans scikit-learn

from sklearn.model_selection import GridSearchCV

kf = KFold(n_splits=5, shuffle=True, random_state=42)

param_grid = {"alpha": np.arange(0.0001, 1, 10),
              "solver": ["sag", "lsqr"]}

ridge = Ridge()

ridge_cv = GridSearchCV(ridge, param_grid, cv=kf)

ridge_cv.fit(X_train, y_train)

print(ridge_cv.best_params_, ridge_cv.best_score_)

{'alpha': 0.0001, 'solver': 'sag'}
0.7529912278705785

Limites et autre approche

Validation croisée en 3 volets, 1 hyperparamètre, 10 valeurs = 30 ajustements
Validation croisée en 10 volets, 3 hyperparamètres, 30 valeurs = 900 ajustements

RandomizedSearchCV

from sklearn.model_selection import RandomizedSearchCV

kf = KFold(n_splits=5, shuffle=True, random_state=42)
param_grid = {'alpha': np.arange(0.0001, 1, 10),
              "solver": ['sag', 'lsqr']}
ridge = Ridge()

ridge_cv = RandomizedSearchCV(ridge, param_grid, cv=kf, n_iter=2)
ridge_cv.fit(X_train, y_train)

print(ridge_cv.best_params_, ridge_cv.best_score_)

{'solver': 'sag', 'alpha': 0.0001}
0.7529912278705785

Évaluer sur l'ensemble de test

test_score = ridge_cv.score(X_test, y_test)

print(test_score)

0.7564731534089224

Passons à la pratique !

Apprentissage supervisé avec scikit-learn