부트스트랩 애그리게이팅

Python에서의 앙상블 기법

Román de las Heras

Data Scientist, Appodeal

이종 vs 동종 앙상블

이종(heterogeneous):

  • 서로 다른 알고리즘(정교 튜닝)
  • 소수의 추정기
  • Voting, Averaging, Stacking

동종(homogeneous):

  • 동일 알고리즘(“약한” 모델)
  • 다수의 추정기
  • Bagging, Boosting
Python에서의 앙상블 기법

콩도르세 배심 정리

요건:

  • 모델 간 독립
  • 각 모델은 무작위 추정보다 우수
  • 개별 모델 성능이 유사

결론: 더 많은 모델을 추가하면 앙상블 성능(Voting 또는 Averaging)이 향상되며, 이는 1(100%)에 수렴합니다

콩도르세 콩도르세 후작, 프랑스의 철학자이자 수학자

Python에서의 앙상블 기법

부트스트래핑

부트스트래핑 조건:

  • 무작위 부분표본
  • 복원추출 사용

부트스트래핑 보장:

  • 다양한 집단: 서로 다른 데이터셋
  • 독립성: 별도 표본추출

Bagging.png

Python에서의 앙상블 기법

배깅의 장단점

장점

  • 분산 감소에 효과적
  • 앙상블만으로 과적합 억제 가능
  • 더 높은 안정성·견고성

단점

  • 계산 비용이 큼
Python에서의 앙상블 기법

이제 연습해 봅시다!

Python에서의 앙상블 기법

Preparing Video For Download...