Hyperparameter-Tuning im Deep Learning

CTR-Vorhersage mit Machine Learning in Python

Kevin Huo

Instructor

Lernrate und Iterationen

Beispiele für Lernraten

  • Gewichte werden iterativ aktualisiert
    • Mit Backpropagation
  • Gute Lernrate: Loss fällt schnell und stabilisiert sich
    • Rote Linie
  • Zu hohe Lernrate: „Overshoot“ und sehr hoher Loss
    • Gelbe Linie
CTR-Vorhersage mit Machine Learning in Python

Versteckte Schichten wählen

Auswirkung der Größe versteckter Schichten

  • Leistung steigt bis zu einer gewissen Komplexität, danach Rückgang.
CTR-Vorhersage mit Machine Learning in Python

Grid Search

param_grid = {'max_iter': [10, 20], 
              'hidden_layer_sizes': [(8, ), (16, )]}

clf = GridSearchCV(
  estimator = MLPClassifier(), param_grid = param_grid, 
  n_jobs = 4)
print(clf.best_score_)
print(clf.best_estimator_)

0.65
MLPClassifier(hidden_layer_size = (16,), ...)
CTR-Vorhersage mit Machine Learning in Python

Praxiserweiterungen

  • Batchgröße und Epochen sind ebenfalls Hyperparameter
    • Batchgröße für Mini-Batches; Epochen = Durchläufe über die gesamten Trainingsdaten
  • Gewichtsinitialisierung variiert und beeinflusst die Ergebnisse
    • Beispiele: gleichverteilte, normalverteilte Initialisierung usw.
  • Keras und TensorFlow werden oft statt sklearn genutzt
    • Wegen eingeschränkter Funktionalität in sklearn
CTR-Vorhersage mit Machine Learning in Python

Lass uns üben!

CTR-Vorhersage mit Machine Learning in Python

Preparing Video For Download...