Parametri del bagging: consigli pratici

Metodi Ensemble in Python

Román de las Heras

Data Scientist, Appodeal

Parametri base per il bagging

Parametri base
  • base_estimator
  • n_estimators
  • oob_score
    • est_bag.oob_score_
Metodi Ensemble in Python

Parametri aggiuntivi per il bagging

Parametri aggiuntivi
  • max_samples: numero di campioni estratti per ogni stimatore.
  • max_features: numero di feature estratte per ogni stimatore.
    • Classificazione ~ sqrt(numero_feature)
    • Regressione ~ numero_feature / 3
  • bootstrap: se i campioni sono estratti con reinserimento.
    • True --> max_samples = 1.0
    • False --> max_samples < 1.0
Metodi Ensemble in Python

Random forest

Classificazione

from sklearn.ensemble import RandomForestClassifier

clf_rf = RandomForestClassifier(
    # parameters...
)

Regressione

from sklearn.ensemble import RandomForestRegressor

reg_rf = RandomForestRegressor(
    # parameters...
)

Parametri di bagging:

  • n_estimators
  • max_features
  • oob_score

Parametri degli alberi:

  • max_depth
  • min_samples_split
  • min_samples_leaf
  • class_weight ("balanced")
Metodi Ensemble in Python

Compromesso bias-varianza

Compromesso bias-varianza

Metodi Ensemble in Python

Passiamo alla pratica!

Metodi Ensemble in Python

Preparing Video For Download...