พารามิเตอร์ของ Bagging: เทคนิคและคำแนะนำ

Ensemble Methods ใน Python

Román de las Heras

Data Scientist, Appodeal

พารามิเตอร์พื้นฐานสำหรับ Bagging

พารามิเตอร์พื้นฐาน
  • base_estimator
  • n_estimators
  • oob_score
    • est_bag.oob_score_
Ensemble Methods ใน Python

พารามิเตอร์เพิ่มเติมสำหรับ Bagging

พารามิเตอร์เพิ่มเติม
  • max_samples: จำนวนตัวอย่างที่ดึงให้แต่ละ estimator
  • max_features: จำนวน feature ที่ดึงให้แต่ละ estimator
    • Classification ~ sqrt(number_of_features)
    • Regression ~ number_of_features / 3
  • bootstrap: กำหนดว่าดึงตัวอย่างแบบ with replacement หรือไม่
    • True --> max_samples = 1.0
    • False --> max_samples < 1.0
Ensemble Methods ใน Python

Random Forest

Classification

from sklearn.ensemble import RandomForestClassifier

clf_rf = RandomForestClassifier(
    # parameters...
)

Regression

from sklearn.ensemble import RandomForestRegressor

reg_rf = RandomForestRegressor(
    # parameters...
)

พารามิเตอร์ Bagging:

  • n_estimators
  • max_features
  • oob_score

พารามิเตอร์เฉพาะ Tree:

  • max_depth
  • min_samples_split
  • min_samples_leaf
  • class_weight ("balanced")
Ensemble Methods ใน Python

การแลกเปลี่ยนระหว่าง Bias และ Variance

biasvariance.png

Ensemble Methods ใน Python

มาฝึกกันเถอะ!

Ensemble Methods ใน Python

Preparing Video For Download...