Réglage des hyperparamètres en apprentissage profond

Prédire le CTR avec le Machine Learning en Python

Kevin Huo

Instructor

Taux d'apprentissage et nombre d'itérations

Exemples de taux d'apprentissage

  • Les poids sont mis à jour de façon itérative
    • Utilise la rétropropagation
  • Un bon taux d'apprentissage fait chuter la perte rapidement puis la stabilise
    • Courbe rouge
  • Un taux trop élevé provoque un « overshoot » et une perte très forte
    • Courbe jaune
Prédire le CTR avec le Machine Learning en Python

Choisir les couches cachées

Effet de la taille de la couche cachée

  • Le rendement augmente jusqu'à un certain niveau de complexité, puis diminue ensuite.
Prédire le CTR avec le Machine Learning en Python

Recherche par grille

param_grid = {'max_iter': [10, 20], 
              'hidden_layer_sizes': [(8, ), (16, )]}

clf = GridSearchCV(
  estimator = MLPClassifier(), param_grid = param_grid, 
  n_jobs = 4)
print(clf.best_score_)
print(clf.best_estimator_)

0.65
MLPClassifier(hidden_layer_size = (16,), ...)
Prédire le CTR avec le Machine Learning en Python

Extensions en pratique

  • La taille du lot et les époques sont aussi des hyperparamètres possibles
    • La taille du lot sert aux mini-lots (apprentissage par petits lots) et les époques au nombre de passages sur l'ensemble d'entraînement
  • L'initialisation des poids varie et influence les résultats
    • Exemples : distribution uniforme, distribution normale, etc.
  • Keras et TensorFlow sont souvent utilisés plutôt que sklearn
    • En raison des fonctionnalités plus limitées de sklearn en comparaison
Prédire le CTR avec le Machine Learning en Python

Passons à la pratique !

Prédire le CTR avec le Machine Learning en Python

Preparing Video For Download...