Parametry baggingu: tipy a triky

Ensemble Methods in Python

Román de las Heras

Data Scientist, Appodeal

Základní parametry baggingu

Základní parametry
  • base_estimator
  • n_estimators
  • oob_score
    • est_bag.oob_score_
Ensemble Methods in Python

Další parametry baggingu

Další parametry
  • max_samples: počet vzorků pro každý estimátor.
  • max_features: počet příznaků pro každý estimátor.
    • Klasifikace ~ sqrt(počet_příznaků)
    • Regrese ~ počet_příznaků / 3
  • bootstrap: zda se vzorky vybírají s opakováním.
    • True --> max_samples = 1.0
    • False --> max_samples < 1.0
Ensemble Methods in Python

Náhodný les

Klasifikace

from sklearn.ensemble import RandomForestClassifier

clf_rf = RandomForestClassifier(
    # parameters...
)

Regrese

from sklearn.ensemble import RandomForestRegressor

reg_rf = RandomForestRegressor(
    # parameters...
)

Parametry baggingu:

  • n_estimators
  • max_features
  • oob_score

Parametry stromů:

  • max_depth
  • min_samples_split
  • min_samples_leaf
  • class_weight ("balanced")
Ensemble Methods in Python

Kompromis mezi vychýlením a rozptylem

biasvariance.png

Ensemble Methods in Python

Pojďme procvičovat!

Ensemble Methods in Python

Preparing Video For Download...