Présentation de la recherche sur grille

Optimisation des hyperparamètres en Python

Alex Scriven

Data Scientist

Automatiser 2 hyperparamètres

Votre travail précédent :

neighbors_list = [3,5,10,20,50,75]
accuracy_list = []
for test_number in neighbors_list:
    model = KNeighborsClassifier(n_neighbors=test_number)
    predictions = model.fit(X_train, y_train).predict(X_test)
    accuracy = accuracy_score(y_test, predictions)
    accuracy_list.append(accuracy)

Que nous avons ensuite rassemblé dans un dataframe pour analyser.

Automatiser 2 hyperparamètres

Et pour tester 2 hyperparamètres ?

Avec un algorithme GBM :

learn_rate [0.001, 0.01, 0.05]
max_depth [4,6,8,10]

On peut utiliser une boucle for (imbriquée) !

Automatiser 2 hyperparamètres

D'abord, une fonction de création de modèle :

def gbm_grid_search(learn_rate, max_depth):
    model = GradientBoostingClassifier(
            learning_rate=learn_rate,
            max_depth=max_depth)

    predictions = model.fit(X_train, y_train).predict(X_test)

    return([learn_rate, max_depth, accuracy_score(y_test, predictions)])

Automatiser 2 hyperparamètres

Nous pouvons maintenant parcourir nos listes d'hyperparamètres et appeler la fonction :

results_list = []

for learn_rate in learn_rate_list:
    for max_depth in max_depth_list:
        results_list.append(gbm_grid_search(learn_rate,max_depth))

Automatiser 2 hyperparamètres

On peut aussi mettre ces résultats dans un DataFrame et l'afficher :

results_df = pd.DataFrame(results_list, columns=['learning_rate', 'max_depth', 'accuracy'])
print(results_df)

table des résultats

Combien de modèles ?

Encore plus de modèles sont créés en ajoutant des hyperparamètres et des valeurs.

La relation n'est pas linéaire, elle est exponentielle
Une valeur de plus d'un hyperparamètre n'est pas _qu'_un seul modèle
5 pour l'hyperparamètre 1 et 10 pour l'hyperparamètre 2, c'est 50 modèles !

Et la validation croisée ?

Une validation croisée à 10 plis donne 50×10 = 500 modèles !

De 2 à N hyperparamètres

Et si l'on ajoutait d'autres hyperparamètres ?

On peut imbriquer notre boucle !

# Ajuster la liste des valeurs à tester
learn_rate_list = [0.001, 0.01, 0.1, 0.2, 0.3, 0.4, 0.5]
max_depth_list = [4,6,8, 10, 12, 15, 20, 25, 30]
subsample_list = [0.4,0.6, 0.7, 0.8, 0.9]
max_features_list = ['auto', 'sqrt']

De 2 à N hyperparamètres

Adapter notre fonction :

def gbm_grid_search(learn_rate, max_depth,subsample,max_features):
    model = GradientBoostingClassifier(
        learning_rate=learn_rate, 
        max_depth=max_depth,
        subsample=subsample,
        max_features=max_features)
    predictions = model.fit(X_train, y_train).predict(X_test)
    return([learn_rate, max_depth, accuracy_score(y_test, predictions)])

De 2 à N hyperparamètres

Adapter notre boucle for (imbriquer) :

for learn_rate in learn_rate_list:
    for max_depth in max_depth_list:
        for subsample in subsample_list:
            for max_features in max_features_list:
                results_list.append(gbm_grid_search(learn_rate,max_depth,
                                     subsample,max_features))
results_df = pd.DataFrame(results_list, columns=['learning_rate',
                         'max_depth', 'subsample', 'max_features','accuracy'])
print(results_df)

De 2 à N hyperparamètres

Combien de modèles maintenant ?

7×9×5×2 = 630 (6 300 avec validation croisée !)

On ne peut pas imbriquer à l'infini !

Et si l'on voulait :

Des détails sur les temps d'entraînement et les scores
Des détails sur les scores de validation croisée