Parámetros de bagging: consejos y trucos

Ensemble Methods in Python

Román de las Heras

Data Scientist, Appodeal

Parámetros básicos para bagging

Parámetros básicos
  • base_estimator
  • n_estimators
  • oob_score
    • est_bag.oob_score_
Ensemble Methods in Python

Parámetros adicionales para bagging

Parámetros adicionales
  • max_samples: número de muestras para cada estimador.
  • max_features: número de variables para cada estimador.
    • Clasificación ~ sqrt(number_of_features)
    • Regresión ~ number_of_features / 3
  • bootstrap: si se extraen muestras con reemplazo.
    • True --> max_samples = 1.0
    • False --> max_samples < 1.0
Ensemble Methods in Python

Random forest

Clasificación

from sklearn.ensemble import RandomForestClassifier

clf_rf = RandomForestClassifier(
    # parameters...
)

Regresión

from sklearn.ensemble import RandomForestRegressor

reg_rf = RandomForestRegressor(
    # parameters...
)

Parámetros de bagging:

  • n_estimators
  • max_features
  • oob_score

Parámetros específicos del árbol:

  • max_depth
  • min_samples_split
  • min_samples_leaf
  • class_weight ("balanced")
Ensemble Methods in Python

Compensación sesgo-varianza

diagrama sesgo-varianza

Ensemble Methods in Python

¡Vamos a practicar!

Ensemble Methods in Python

Preparing Video For Download...