Ajustarea hiperparametrilor în deep learning

Predicția CTR cu Machine Learning în Python

Kevin Huo

Instructor

Rata de învățare și numărul de iterații

Exemple de rate de învățare

  • Ponderile sunt actualizate iterativ
    • Utilizează propagarea înapoi
  • O rată de învățare bună determină scăderea rapidă și stabilizarea pierderii
    • Reprezentată prin linia roșie
  • O rată de învățare prea mare duce la „depășire" și pierdere foarte ridicată
    • Reprezentată prin linia galbenă
Predicția CTR cu Machine Learning în Python

Alegerea straturilor ascunse

Efectul dimensiunii stratului ascuns

  • Performanța crește până la un anumit nivel de complexitate, apoi scade.
Predicția CTR cu Machine Learning în Python

Căutare pe grilă

param_grid = {'max_iter': [10, 20], 
              'hidden_layer_sizes': [(8, ), (16, )]}

clf = GridSearchCV(
  estimator = MLPClassifier(), param_grid = param_grid, 
  n_jobs = 4)
print(clf.best_score_)
print(clf.best_estimator_)

0.65
MLPClassifier(hidden_layer_size = (16,), ...)
Predicția CTR cu Machine Learning în Python

Extensii din lumea reală

  • Dimensiunea lotului și epocile sunt, de asemenea, hiperparametri potențiali
    • Dimensiunea lotului este pentru mini-lot (antrenarea se realizează în loturi mici), iar epocile reprezintă numărul de iterații prin întreg setul de antrenare
  • Inițializarea ponderilor poate varia și poate influența rezultatele
    • Exemple de inițializări: distribuție uniformă, distribuție normală etc.
  • Keras și Tensorflow sunt utilizate mai frecvent decât sklearn
    • Aceasta se datorează funcționalității limitate a sklearn în comparație
Predicția CTR cu Machine Learning în Python

Să exersăm!

Predicția CTR cu Machine Learning în Python

Preparing Video For Download...