Dostrajanie hiperparametrów w głębokim uczeniu

Przewidywanie CTR z użyciem uczenia maszynowego w Pythonie

Kevin Huo

Instructor

Współczynnik uczenia i liczba iteracji

Przykłady współczynników uczenia

Wagi są aktualizowane iteracyjnie
- Wykorzystuje wsteczną propagację błędu
Właściwy współczynnik uczenia powoduje szybki spadek i stabilizację straty
- Pokazano linią czerwoną
Zbyt wysoki współczynnik uczenia prowadzi do „przeskoku" i bardzo wysokiej straty
- Pokazano linią żółtą

Wpływ rozmiaru warstwy ukrytej

param_grid = {'max_iter': [10, 20], 
              'hidden_layer_sizes': [(8, ), (16, )]}

clf = GridSearchCV(
  estimator = MLPClassifier(), param_grid = param_grid, 
  n_jobs = 4)
print(clf.best_score_)
print(clf.best_estimator_)

0.65
MLPClassifier(hidden_layer_size = (16,), ...)

Rozmiar wsadu i liczba epok są również potencjalnymi hiperparametrami
- Rozmiar wsadu dotyczy mini-wsadu (trening odbywa się w małych partiach), a epoki – liczby przejść przez cały zbiór treningowy
Inicjalizacja wag może się różnić i wpływać na wyniki
- Przykłady inicjalizacji: rozkład jednostajny, rozkład normalny itp.
Zamiast sklearn często używa się Keras i TensorFlow
- Wynika to z ograniczonej funkcjonalności sklearn w tym zakresie

Przewidywanie CTR z użyciem uczenia maszynowego w Pythonie