Ensembles i strojenie hiperparametrów

Przewidywanie CTR z użyciem uczenia maszynowego w Pythonie

Kevin Huo

Instructor

Metody ensemble

Przykład agregacji bootstrapowej

Bagging: losowe próbki wybierane dla różnych modeli, które są osobno trenowane i łączone.

Lasy losowe

clf = RandomForestClassifier()
print(clf)

RandomForestClassifier(
  bootstrap=True,
  ...
  max_depth = 10,
  ...
  n_estimators = 100,
  ...)

Strojenie hiperparametrów

Hiperparametr: parametr konfigurowany przed trenowaniem, zewnętrzny wobec modelu
Przykłady parametrów (nie hiperparametrów): współczynnik kierunkowy w regresji liniowej, wagi w regresji logistycznej itp.
Przykłady hiperparametrów: max_depth, n_estimators itp.

Przeszukiwanie siatki

param_grid = {'n_estimators': n_estimators, 
              'max_depth': max_depth}

clf = GridSearchCV(estimator = model, 
                   param_grid = param_grid, 
                   scoring = 'roc_auc')
print(clf.best_score_)
print(clf.best_estimator_)

0.6777
RandomForestClassifier(max_depth = 100, ...)

Czas na ćwiczenia!

Przewidywanie CTR z użyciem uczenia maszynowego w Pythonie