Paramètres du bagging : trucs et astuces

Méthodes d'ensemble en Python

Román de las Heras

Data Scientist, Appodeal

Paramètres de base du bagging

Paramètres de base
  • base_estimator
  • n_estimators
  • oob_score
    • est_bag.oob_score_
Méthodes d'ensemble en Python

Paramètres additionnels du bagging

Paramètres additionnels
  • max_samples : nombre d'échantillons tirés par estimateur.
  • max_features : nombre de variables tirées par estimateur.
    • Classification ~ sqrt(number_of_features)
    • Régression ~ number_of_features / 3
  • bootstrap : échantillons tirés avec remise.
    • True --> max_samples = 1.0
    • False --> max_samples < 1.0
Méthodes d'ensemble en Python

Forêt aléatoire

Classification

from sklearn.ensemble import RandomForestClassifier

clf_rf = RandomForestClassifier(
    # parameters...
)

Régression

from sklearn.ensemble import RandomForestRegressor

reg_rf = RandomForestRegressor(
    # parameters...
)

Paramètres de bagging :

  • n_estimators
  • max_features
  • oob_score

Paramètres propres aux arbres :

  • max_depth
  • min_samples_split
  • min_samples_leaf
  • class_weight ("balanced")
Méthodes d'ensemble en Python

Équilibre biais-variance

Équilibre biais-variance

Méthodes d'ensemble en Python

Passons à la pratique !

Méthodes d'ensemble en Python

Preparing Video For Download...