앤상블로 모두 묶기

Python에서의 앙상블 기법

Román de las Heras

Data Scientist, Appodeal

1장: 투표와 평균

투표(Voting)

  • 결합: 최빈값(다수결)
  • 분류
  • 이기종 앙상블 방법

평균(Averaging)

  • 결합: 평균값
  • 분류와 회귀
  • 이기종 앙상블 방법

이럴 때 적합합니다:

  • 서로 다른 모델을 여러 개 구축했을 때
  • 최선의 모델을 확신하지 못할 때
  • 전체 성능을 높이고 싶을 때
Python에서의 앙상블 기법

2장: 배깅

약한 추정기

  • 무작위 추정보다 약간 우수함
  • 가벼우며 빠름
  • 동질 앙상블의 기반

배깅(Bootstrap Aggregating)

  • 복원추출 임의 부분표본
  • 다수의 약한 추정기 사용
  • 투표 또는 평균으로 집계
  • 동질 앙상블 방법

이럴 때 적합합니다:

  • 분산을 줄이고 싶을 때
  • 과적합을 피해야 할 때
  • 더 높은 안정성과 견고성이 필요할 때

참고:

  • 배깅은 계산 비용이 큼
Python에서의 앙상블 기법

3장: 부스팅

점진적 학습

  • 동질 앙상블 유형
  • 반복 학습 기반
  • 순차적 모델 구축

부스팅 알고리즘

  • AdaBoost
  • 그래디언트 부스팅:
    • XGBoost
    • LightGBM
    • CatBoost

이럴 때 적합합니다:

  • 문제가 복잡할 때
  • 병렬 처리나 분산 컴퓨팅이 필요할 때
  • 대규모 데이터나 고차원 범주형 피처가 있을 때
Python에서의 앙상블 기법

4장: 스태킹

스태킹

  • 결합: 메타 추정기(모델)
  • 분류와 회귀
  • 이기종 앙상블 방법

구현

  • pandas와 sklearn으로 직접 구현
  • MLxtend 라이브러리 사용

이럴 때 적합합니다:

  • 투표/평균을 시도했지만 기대만큼이 아닐 때
  • 상황별로 잘 맞는 모델들을 이미 보유할 때
Python에서의 앙상블 기법

감사합니다. 훌륭한 앙상블이었습니다!

Python에서의 앙상블 기법

Preparing Video For Download...