마무리

Python에서의 하이퍼파라미터 튜닝

Alex Scriven

Data Scientist

하이퍼파라미터 vs 파라미터

   

하이퍼파라미터 vs 파라미터:

하이퍼파라미터는 사용자가 설정하는 모델 구성 요소입니다. 학습 과정에서 자동으로 학습되지 않습니다.

파라미터는 사용자가 설정하지 않습니다. 알고리즘이 학습을 통해 찾습니다.

Python에서의 하이퍼파라미터 튜닝

어떤 하이퍼파라미터와 값?

 

배운 내용:

  • 시작하기 좋은 하이퍼파라미터가 있습니다.
  • 말이 안 되는 값도 설정할 수 있습니다.
  • 충돌하는 하이퍼파라미터를 주의해야 합니다.
  • 모범 사례는 알고리즘과 해당 하이퍼파라미터에 따라 다릅니다.
Python에서의 하이퍼파라미터 튜닝

그리드 서치 복습

 

그리드 서치를 소개했습니다:

  • 하이퍼파라미터 조합과 값을 행렬(그리드)로 만듭니다.
  • 모든 하이퍼파라미터 조합으로 모델을 학습합니다.
  • 그리고 최적 모델을 선택합니다.

계산 비용이 크지만, 설정한 그리드 내에서는 최선을 보장합니다. (좋은 그리드를 설정하는 것이 중요합니다!)

Python에서의 하이퍼파라미터 튜닝

랜덤 서치 복습

 

랜덤 서치:

  • 그리드 서치와 매우 유사합니다.
  • 차이는 (n)개의 조합을 무작위로 선택한다는 점입니다.

더 빠르게 합리적인 모델을 찾지만, 그리드 내 최적 모델은 보장하지 않습니다.

Python에서의 하이퍼파라미터 튜닝

비정보형에서 정보형 서치로

정보 기반 서치 살펴보기:

정보 기반 서치는 매 반복에서 이전 결과를 학습합니다. 반면 그리드/랜덤은 한꺼번에 학습 후 최적을 고릅니다.

다음과 같은 정보 기반 방법을 다뤘습니다:

  • 거친→정교(Iterative 랜덤 후 그리드 서치)
  • 베이지안 튜닝: 성능 증거로 신념을 갱신
  • 유전 알고리즘: 세대를 거치며 모델을 진화
Python에서의 하이퍼파라미터 튜닝

감사합니다!

Python에서의 하이퍼파라미터 튜닝

Preparing Video For Download...