자동화된 실험 추적

완전 자동화된 MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

머신러닝은 실험적입니다

실험할 수 있는 다양한 레버:

  • 데이터 변환
    • 사용 피처
  • 학습 알고리즘
    • 하이퍼파라미터 튜닝
  • 평가 지표
    • 정밀도, 재현율 등
완전 자동화된 MLOps

가능성의 거대한 공간!

$$

별 가득한 하늘을 향해 여러 안테나가 향한 사진. 방대한, 탐색이 어려운 공간을 표현합니다.

완전 자동화된 MLOps

수동 머신러닝 워크플로의 문제점

자동화 부족 = 수동 ML 워크플로의 문제

  • 실험과 결과 추적이 어려움
  • 시간과 자원 낭비
  • 결과 재현/공유가 어려움

노트북 앞에서 매우 좌절한 데이터 과학자 이미지.

완전 자동화된 MLOps

ML에서의 자동 로깅

중요한 로그 항목:

  • 코드
  • 환경
  • 데이터
  • 파라미터
  • 지표
완전 자동화된 MLOps

로깅의 중요성

로깅은 다음에 필수입니다:

  • ML 시스템의 실험 재현성
  • 성능 추적과 의사결정
  • 개선이 필요한 이슈 식별

$$

재현성은 투명성을 제공하며, 신뢰할 수 있는 시스템의 핵심입니다.

완전 자동화된 MLOps

자동화된 실험 추적 시스템

$$

실행(런)이나 실험별로 로그를 정리하면:

  • 모델 학습 메타데이터 확인
  • 모델 학습 실행 비교
  • 모델 학습 실행 재현

$$

IT 아키텍처 도식. 실험 추적 시스템은 대시보드 UI와 프로그래매틱 접근 인터페이스로 구성됩니다. 대시보드 UI는 사용자가, 프로그래매틱 접근은 다른 구성 요소가 사용합니다. 실험 추적 시스템은 로그 저장을 담당하는 컴포넌트에 기록하고 읽습니다.

완전 자동화된 MLOps

자동화된 실험 추적 - 현재 시장

실험 추적을 자동화하는 도구:

  • TensorBoard

$$

  • MLFlow

$$

  • Weights & Biases

$$

  • Neptune

$$

Tensorflow 로고.

$$

MLflow 로고.

$$ Weight & Biases 로고.

Neptune.AI 로고.

완전 자동화된 MLOps

연습해 봅시다!

완전 자동화된 MLOps

Preparing Video For Download...