Ансамбли и настройка гиперпараметров

Прогнозирование CTR с помощью машинного обучения на Python

Kevin Huo

Instructor

Ансамблевые методы

Пример бэггинга

Бэггинг: для каждой модели выбираются случайные выборки, модели обучаются независимо, затем объединяются.

Случайные леса

clf = RandomForestClassifier()
print(clf)

RandomForestClassifier(
  bootstrap=True,
  ...
  max_depth = 10,
  ...
  n_estimators = 100,
  ...)

Настройка гиперпараметров

Гиперпараметр: задаётся до обучения и является внешним по отношению к модели
Примеры параметров, но не гиперпараметров: коэффициент наклона в линейной регрессии, веса в логистической регрессии и т. д.
Примеры гиперпараметров: max_depth, n_estimators и т. д.

Поиск по сетке

param_grid = {'n_estimators': n_estimators, 
              'max_depth': max_depth}

clf = GridSearchCV(estimator = model, 
                   param_grid = param_grid, 
                   scoring = 'roc_auc')
print(clf.best_score_)
print(clf.best_estimator_)

0.6777
RandomForestClassifier(max_depth = 100, ...)

Давайте потренируемся!

Прогнозирование CTR с помощью машинного обучения на Python