배깅 파라미터: 팁과 요령

Python에서의 앙상블 기법

Román de las Heras

Data Scientist, Appodeal

배깅의 기본 파라미터

기본 파라미터
  • base_estimator
  • n_estimators
  • oob_score
    • est_bag.oob_score_
Python에서의 앙상블 기법

배깅의 추가 파라미터

추가 파라미터
  • max_samples: 각 추정기에서 뽑을 표본 수
  • max_features: 각 추정기에서 뽑을 특성 수
    • 분류 ~ sqrt(특성 수)
    • 회귀 ~ 특성 수 / 3
  • bootstrap: 표본을 복원추출할지 여부
    • True --> max_samples = 1.0
    • False --> max_samples < 1.0
Python에서의 앙상블 기법

랜덤 포레스트

분류

from sklearn.ensemble import RandomForestClassifier

clf_rf = RandomForestClassifier(
    # parameters...
)

회귀

from sklearn.ensemble import RandomForestRegressor

reg_rf = RandomForestRegressor(
    # parameters...
)

배깅 파라미터:

  • n_estimators
  • max_features
  • oob_score

트리 전용 파라미터:

  • max_depth
  • min_samples_split
  • min_samples_leaf
  • class_weight ("balanced")
Python에서의 앙상블 기법

편향-분산 절충

편향-분산.png

Python에서의 앙상블 기법

연습해 봅시다!

Python에서의 앙상블 기법

Preparing Video For Download...