앙상블과 하이퍼파라미터 튜닝

Python으로 Machine Learning을 활용한 CTR 예측

Kevin Huo

Instructor

앙상블 기법

부트스트랩 집계 예시

배깅: 서로 다른 모델에 대해 무작위 표본을 뽑아 개별 학습 후 결합합니다.

랜덤 포레스트

clf = RandomForestClassifier()
print(clf)

RandomForestClassifier(
  bootstrap=True,
  ...
  max_depth = 10,
  ...
  n_estimators = 100,
  ...)

하이퍼파라미터 튜닝

하이퍼파라미터: 학습 전에 설정하며, 모델 외부에서 제어하는 파라미터
파라미터이지만 하이퍼파라미터가 아닌 예: 선형회귀의 기울기 계수, 로지스틱회귀의 가중치 등
하이퍼파라미터 예: max_depth, n_estimators 등

그리드 서치

param_grid = {'n_estimators': n_estimators, 
              'max_depth': max_depth}

clf = GridSearchCV(estimator = model, 
                   param_grid = param_grid, 
                   scoring = 'roc_auc')
print(clf.best_score_)
print(clf.best_estimator_)

0.6777
RandomForestClassifier(max_depth = 100, ...)

실습해 봅시다!

Python으로 Machine Learning을 활용한 CTR 예측