Parâmetros de bagging: dicas e truques

Métodos de Ensemble em Python

Román de las Heras

Data Scientist, Appodeal

Parâmetros básicos de bagging

Parâmetros básicos
  • base_estimator
  • n_estimators
  • oob_score
    • est_bag.oob_score_
Métodos de Ensemble em Python

Parâmetros adicionais de bagging

Parâmetros adicionais
  • max_samples: número de amostras sorteadas por estimador.
  • max_features: número de features sorteadas por estimador.
    • Classificação ~ sqrt(number_of_features)
    • Regressão ~ number_of_features / 3
  • bootstrap: se as amostras são com reposição.
    • True --> max_samples = 1.0
    • False --> max_samples < 1.0
Métodos de Ensemble em Python

Random forest

Classificação

from sklearn.ensemble import RandomForestClassifier

clf_rf = RandomForestClassifier(
    # parameters...
)

Regressão

from sklearn.ensemble import RandomForestRegressor

reg_rf = RandomForestRegressor(
    # parameters...
)

Parâmetros de bagging:

  • n_estimators
  • max_features
  • oob_score

Parâmetros específicos da árvore:

  • max_depth
  • min_samples_split
  • min_samples_leaf
  • class_weight ("balanced")
Métodos de Ensemble em Python

Trade-off viés-variância

Gráfico viés-variância

Métodos de Ensemble em Python

Vamos praticar!

Métodos de Ensemble em Python

Preparing Video For Download...