Parameter bagging: kiat dan trik

Metode Ensemble di Python

Román de las Heras

Data Scientist, Appodeal

Parameter dasar untuk bagging

Parameter dasar
  • base_estimator
  • n_estimators
  • oob_score
    • est_bag.oob_score_
Metode Ensemble di Python

Parameter tambahan untuk bagging

Parameter tambahan
  • max_samples: jumlah sampel untuk tiap estimator.
  • max_features: jumlah fitur untuk tiap estimator.
    • Klasifikasi ~ sqrt(jumlah_fitur)
    • Regresi ~ jumlah_fitur / 3
  • bootstrap: apakah sampel diambil dengan pengembalian.
    • True --> max_samples = 1.0
    • False --> max_samples < 1.0
Metode Ensemble di Python

Random forest

Klasifikasi

from sklearn.ensemble import RandomForestClassifier

clf_rf = RandomForestClassifier(
    # parameters...
)

Regresi

from sklearn.ensemble import RandomForestRegressor

reg_rf = RandomForestRegressor(
    # parameters...
)

Parameter bagging:

  • n_estimators
  • max_features
  • oob_score

Parameter khusus pohon:

  • max_depth
  • min_samples_split
  • min_samples_leaf
  • class_weight ("balanced")
Metode Ensemble di Python

Trade-off bias–varians

Perdagangan bias-varians

Metode Ensemble di Python

Ayo berlatih!

Metode Ensemble di Python

Preparing Video For Download...