Réglage des hyperparamètres en deep learning

Prédire le CTR avec le Machine Learning en Python

Kevin Huo

Instructor

Taux d’apprentissage et nombre d’itérations

Exemples de taux d’apprentissage

  • Les poids sont mis à jour de façon itérative
    • Via la rétropropagation
  • Un bon taux d’apprentissage fait chuter la loss puis se stabiliser
    • Courbe rouge
  • Un taux trop élevé provoque un « overshoot » et une loss très forte
    • Courbe jaune
Prédire le CTR avec le Machine Learning en Python

Choisir les couches cachées

Effet de la taille de la couche cachée

  • La performance augmente jusqu’à un certain niveau de complexité, puis diminue.
Prédire le CTR avec le Machine Learning en Python

Recherche par grille

param_grid = {'max_iter': [10, 20], 
              'hidden_layer_sizes': [(8, ), (16, )]}

clf = GridSearchCV(
  estimator = MLPClassifier(), param_grid = param_grid, 
  n_jobs = 4)
print(clf.best_score_)
print(clf.best_estimator_)

0.65
MLPClassifier(hidden_layer_size = (16,), ...)
Prédire le CTR avec le Machine Learning en Python

Extensions en pratique

  • La taille de batch et les époques sont aussi des hyperparamètres possibles
    • Taille de batch pour le mini-batch (apprentissage par petits lots) ; époques = passages sur tout l’entraînement
  • L’initialisation des poids varie et influence les résultats
    • Exemples : uniforme, normale, etc.
  • Keras et TensorFlow sont souvent utilisés plutôt que sklearn
    • À cause des limites de sklearn en comparaison
Prédire le CTR avec le Machine Learning en Python

Passons à la pratique !

Prédire le CTR avec le Machine Learning en Python

Preparing Video For Download...