Ensembles a ladění hyperparametrů

Předpovídání CTR pomocí Machine Learning v Pythonu

Kevin Huo

Instructor

Ensemble metody

Příklad bootstrap agregace

Bagging: pro různé modely jsou vybrány náhodné vzorky, modely jsou samostatně trénovány a poté kombinovány.

Náhodné lesy

clf = RandomForestClassifier()
print(clf)

RandomForestClassifier(
  bootstrap=True,
  ...
  max_depth = 10,
  ...
  n_estimators = 100,
  ...)

Ladění hyperparametrů

Hyperparametr: parametr nastavený před trénováním, nezávislý na modelu
Příklady parametrů, které NEJSOU hyperparametry: koeficient sklonu v lineární regresi, váhy v logistické regresi aj.
Příklady hyperparametrů: max_depth, n_estimators aj.

Prohledávání mřížky

param_grid = {'n_estimators': n_estimators, 
              'max_depth': max_depth}

clf = GridSearchCV(estimator = model, 
                   param_grid = param_grid, 
                   scoring = 'roc_auc')
print(clf.best_score_)
print(clf.best_estimator_)

0.6777
RandomForestClassifier(max_depth = 100, ...)

Pojďme si procvičit!

Předpovídání CTR pomocí Machine Learning v Pythonu