적응형 부스팅: 수상 경력 모델

Python에서의 앙상블 기법

Román de las Heras

Data Scientist, Appodeal

수상 경력 모델

AdaBoost 소개:

  • 1997년 Yoav Freund, Robert Schapire 제안
  • 2003년 괴델상 수상
  • 최초의 실용적 부스팅 알고리즘
  • 널리 쓰이는 앙상블 방법

괴델상 메달

Python에서의 앙상블 기법

AdaBoost 특성

  1. 표본 분포로 인스턴스를 추출
    • 어려운 인스턴스에 더 큰 가중치
    • 초기값은 균등 분포
  2. 추정기를 가중 다수결로 결합
    • 성능 좋은 추정기에 더 큰 가중치
  3. 성능 향상 보장
  4. 분류와 회귀 모두 지원

AdaBoost 샘플링 도식

Python에서의 앙상블 기법

scikit-learn으로 AdaBoost 분류

AdaBoostClassifier

from sklearn.ensemble import AdaBoostClassifier

clf_ada = AdaBoostClassifier(
   base_estimator,
   n_estimators,
   learning_rate
)

매개변수

  • base_estimator
    • 기본값: 의사결정나무 (max_depth=1)
  • n_estimators
    • 기본값: 50
  • learning_rate
    • 기본값: 1.0
    • n_estimators와 learning_rate는 트레이드오프
Python에서의 앙상블 기법

scikit-learn으로 AdaBoost 회귀

AdaBoostRegressor

from sklearn.ensemble import AdaBoostRegressor

reg_ada = AdaBoostRegressor(
   base_estimator,
   n_estimators,
   learning_rate,
   loss
)

매개변수

  • base_estimator
    • 기본값: 의사결정나무 (max_depth=3)
  • loss
    • linear (기본)
    • square
    • exponential
Python에서의 앙상블 기법

연습해 봅시다!

Python에서의 앙상블 기법

Preparing Video For Download...