Ансамблі та налаштування гіперпараметрів

Прогнозування CTR за допомогою машинного навчання в Python

Kevin Huo

Instructor

Методи ансамблю

Приклад bootstrap-агрегації

Bagging: випадкові вибірки для різних моделей; моделі навчаються окремо й поєднуються.

Випадкові ліси

clf = RandomForestClassifier()
print(clf)

RandomForestClassifier(
  bootstrap=True,
  ...
  max_depth = 10,
  ...
  n_estimators = 100,
  ...)

Налаштування гіперпараметрів

Гіперпараметр: параметр, який задають до навчання; він зовнішній щодо моделі
Приклади параметрів, але НЕ гіперпараметрів: коефіцієнт нахилу в лінійній регресії, ваги в логістичній регресії тощо.
Приклади гіперпараметрів: max_depth, n_estimators тощо.

Пошук по сітці

param_grid = {'n_estimators': n_estimators, 
              'max_depth': max_depth}

clf = GridSearchCV(estimator = model, 
                   param_grid = param_grid, 
                   scoring = 'roc_auc')
print(clf.best_score_)
print(clf.best_estimator_)

0.6777
RandomForestClassifier(max_depth = 100, ...)

Давайте потренуємось!

Прогнозування CTR за допомогою машинного навчання в Python