Bagging-parametrar: tips och tricks

Ensemblemetoder i Python

Román de las Heras

Data Scientist, Appodeal

Grundläggande parametrar för bagging

Grundläggande parametrar
  • base_estimator
  • n_estimators
  • oob_score
    • est_bag.oob_score_
Ensemblemetoder i Python

Ytterligare parametrar för bagging

Ytterligare parametrar
  • max_samples: antal sampel som dras för varje estimator.
  • max_features: antal särdrag som dras för varje estimator.
    • Klassificering ~ sqrt(number_of_features)
    • Regression ~ number_of_features / 3
  • bootstrap: om sampel dras med återläggning.
    • True --> max_samples = 1.0
    • False --> max_samples < 1.0
Ensemblemetoder i Python

Random forest

Klassificering

from sklearn.ensemble import RandomForestClassifier

clf_rf = RandomForestClassifier(
    # parameters...
)

Regression

from sklearn.ensemble import RandomForestRegressor

reg_rf = RandomForestRegressor(
    # parameters...
)

Bagging-parametrar:

  • n_estimators
  • max_features
  • oob_score

Trädspecifika parametrar:

  • max_depth
  • min_samples_split
  • min_samples_leaf
  • class_weight ("balanced")
Ensemblemetoder i Python

Bias-varians-avvägning

biasvariance.png

Ensemblemetoder i Python

Nu kör vi en övning!

Ensemblemetoder i Python

Preparing Video For Download...