그래디언트 부스팅의 종류
Python에서의 앙상블 기법
Román de las Heras
Data Scientist, Appodeal
그래디언트 부스팅의 변형
그래디언트 부스팅 알고리즘
- 익스트림 그래디언트 부스팅
- 라이트 그래디언트 부스팅 머신
- 카테고리컬 부스팅
구현체
- XGBoost
- LightGBM
- CatBoost
익스트림 그래디언트 부스팅(XGBoost)
주요 특징:
- 분산 컴퓨팅에 최적화
- 본질적으로 병렬 학습 지원
- 확장성, 이식성, 정확도 우수
import xgboost as xgb
clf_xgb = xgb.XGBClassifier(
n_estimators=100,
learning_rate=None,
max_depth=None,
random_state
)
clg_xgb.fit(X_train, y_train)
pred = clf_xgb.predict(X_test)
라이트 그래디언트 부스팅 머신
주요 특징:
- Microsoft 공개(2017)
- 더 빠른 학습, 더 효율적
- 메모리 사용이 더 가벼움
- 병렬·GPU 최적화
- 대용량 데이터, 속도/메모리 제약에 유용
import lightgbm as lgb
clf_lgb = lgb.LGBMClassifier(
n_estimators=100,
learning_rate=0.1,
max_depth=-1,
random_state
)
clf_lgb.fit(X_train, y_train)
pred = clf_lgb.predict(X_test)
범주형 부스팅
주요 특징:
- Yandex 오픈 소스 공개(2017년 4월)
- 범주형 특성 자동 처리 내장
- 정확하고 강건함
- 빠르고 확장 가능
- 사용하기 쉬운 API
import catboost as cb
clf_cat = cb.CatBoostClassifier(
n_estimators=None,
learning_rate=None,
max_depth=None,
random_state
)
clf_cat.fit(X_train, y_train)
pred = clf_cat.predict(X_test)
이제 실습해 보세요!
Python에서의 앙상블 기법
