Ensembles et réglage des hyperparamètres

Prédire le CTR avec le Machine Learning en Python

Kevin Huo

Instructor

Méthodes d'ensemble

Exemple d'agrégation par bootstrap

Bagging : des échantillons aléatoires servent à entraîner des modèles distincts, puis on combine leurs prédictions.

Forêts aléatoires

clf = RandomForestClassifier()
print(clf)

RandomForestClassifier(
  bootstrap=True,
  ...
  max_depth = 10,
  ...
  n_estimators = 100,
  ...)

Réglage des hyperparamètres

Hyperparamètre : paramètre défini avant l'entraînement et externe au modèle
Exemples de paramètres mais PAS d'hyperparamètres : coefficient de pente en régression linéaire, poids en régression logistique, etc.
Exemples d'hyperparamètres : max_depth, n_estimators, etc.

Recherche par grille

param_grid = {'n_estimators': n_estimators, 
              'max_depth': max_depth}

clf = GridSearchCV(estimator = model, 
                   param_grid = param_grid, 
                   scoring = 'roc_auc')
print(clf.best_score_)
print(clf.best_estimator_)

0.6777
RandomForestClassifier(max_depth = 100, ...)

Passons à la pratique !

Prédire le CTR avec le Machine Learning en Python