Ensembler och hyperparameterjustering

Förutsäga CTR med maskininlärning i Python

Kevin Huo

Instructor

Ensemble-metoder

Exempel på bootstrap-aggregering

Bagging: slumpmässiga urval väljs för olika modeller, som tränas separat och kombineras sedan.

Random forests

clf = RandomForestClassifier()
print(clf)

RandomForestClassifier(
  bootstrap=True,
  ...
  max_depth = 10,
  ...
  n_estimators = 100,
  ...)

Hyperparameterjustering

Hyperparameter: en parameter som konfigureras före träning och är extern i förhållande till modellen
Exempel på parametrar men INTE hyperparametrar: lutningskoefficient i linjär regression, vikter i logistisk regression, osv.
Exempel på hyperparametrar: max_depth, n_estimators, osv.

Grid search

param_grid = {'n_estimators': n_estimators, 
              'max_depth': max_depth}

clf = GridSearchCV(estimator = model, 
                   param_grid = param_grid, 
                   scoring = 'roc_auc')
print(clf.best_score_)
print(clf.best_estimator_)

0.6777
RandomForestClassifier(max_depth = 100, ...)

Nu kör vi en övning!

Förutsäga CTR med maskininlärning i Python