ML 서비스 모니터링

MLOps 배포와 라이프사이클링

Nemanja Radojkovic

Senior Machine Learning Engineer

품질 유지

  • 유료 고객 = 품질 기대치
  • 품질 보증은 품질 관리에서 시작합니다
  • 모니터링
MLOps 배포와 라이프사이클링

성능 지표

기본 상태 지표

  • 서비스가 동작 중인가요?
  • 시간당 요청 수는?
  • 지연 분포는?

 

최종 품질 지표

  • 예측 성능

ML 모델은 어떻게 저하될까요?

MLOps 배포와 라이프사이클링

단순 분류기

MLOps 배포와 라이프사이클링

학습된 경계

MLOps 배포와 라이프사이클링

학습된 모델

MLOps 배포와 라이프사이클링

세상이 변함

MLOps 배포와 라이프사이클링

변화 2

MLOps 배포와 라이프사이클링

경계 이동

MLOps 배포와 라이프사이클링

개념 드리프트

MLOps 배포와 라이프사이클링

변화하지 않으면 성능 저하

MLOps 배포와 라이프사이클링

어떻게 감지할까

MLOps 배포와 라이프사이클링

MLOps 배포와 라이프사이클링

문제점

MLOps 배포와 라이프사이클링

사용 사례별

MLOps 배포와 라이프사이클링

공짜는 아님

MLOps 배포와 라이프사이클링

있는 것 활용

MLOps 배포와 라이프사이클링

입력 피처 변화

MLOps 배포와 라이프사이클링

공변량 시프트

MLOps 배포와 라이프사이클링

입력 모니터링 한계

MLOps 배포와 라이프사이클링

출력 모니터링

MLOps 배포와 라이프사이클링

Ayo berlatih!

MLOps 배포와 라이프사이클링

Preparing Video For Download...