하이퍼파라미터 자동 튜닝

완전 자동화된 MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

하이퍼파라미터란?

하이퍼파라미터는 학습 과정을 제어하는 조정 가능한 값입니다.

  • 학습 과정에서 학습되지 않음
  • 모델 학습 전 설정

$$

예시:

  • 신경망의 모델 구조
  • 의사결정나무의 가지 수
  • 학습률
완전 자동화된 MLOps

하이퍼파라미터 튜닝이란?

데이터 과학자가 신경망의 하이퍼파라미터를 조정하는 이미지. 신경망 학습 루틴은 학습 시점에 학습 가능한 파라미터를 튜닝하며, 각 조합은 다른 점수를 생성.

완전 자동화된 MLOps

하이퍼파라미터 튜닝 방법

  • 그리드 서치

$$

$$

  • 랜덤 서치

$$

$$

  • 베이지안 최적화

질서정연한 탐색을 보여주는 그리드 서치 애니메이션.

무작위 탐색을 보여주는 랜덤 서치 애니메이션.

지능형 탐색을 보여주는 베이지안 서치 애니메이션.

완전 자동화된 MLOps

하이퍼파라미터 튜닝 자동화

하이퍼파라미터 조합 탐색을 수행하는 엔진을 보여주는 이미지.

완전 자동화된 MLOps

하이퍼파라미터 자동 튜닝 단계

  • 정의할 것:
    • 최적화할 하이퍼파라미터 집합
    • 각 파라미터의 탐색 공간
    • 최적화할 성능 지표
    • 중지 기준

프로세스 이미지: 최적화할 하이퍼파라미터 정의, 각 하이퍼파라미터의 탐색 공간 정의, 최적화 대상 지정, 중지 기준 지정. 하단에는 하이퍼파라미터 튜닝 방법이 전체 프로세스를 구동함을 표시.

완전 자동화된 MLOps

최적의 하이퍼파라미터 자동 탐색

$$

이전 프로세스 이미지가 확장됨. 하단에 최적의 하이퍼파라미터 집합이 발견됨을 표시.

완전 자동화된 MLOps

하이퍼파라미터와 환경 대칭성

$$

환경 대칭성 설명 이미지. 개발·실험과 운영에서 동일한 튜닝된 하이퍼파라미터 사용.

완전 자동화된 MLOps

하이퍼파라미터 튜닝 - 실험 추적

하이퍼파라미터 자동 튜닝 프로세스 이미지. 상단에서 자동 실험 추적 시스템이 튜닝 중 사용된 하이퍼파라미터 등 메타데이터를 수집하고, 이를 메타데이터 저장소에 저장.

완전 자동화된 MLOps

예시 - 하이퍼파라미터 시각화

하이퍼파라미터 튜닝 시각화 도구 예시.

완전 자동화된 MLOps

연습해 봅시다!

완전 자동화된 MLOps

Preparing Video For Download...