서빙 모드

MLOps 배포와 라이프사이클링

Nemanja Radojkovic

Senior Machine Learning Engineer

서빙과 서빙 모드

• 예측 제공 서비스 == 모델 서빙
• 특정 서빙 방식의 구현 == 서빙 모드

 

신중히 선택하세요!

배치 예측: 단순하게

• 배치 예측이 가장 단순함
• 사용 사례가 허용하면 이를 선택
• 적합: 월간 매출 예측 생성

허용 가능한 지연 시간

어느 정도가 허용될까요?

• < 1시간?
• < 1분?
• < 1초?
• < 1밀리초?

준실시간 예측, 즉 스트림 처리

허용 지연 시간 ~= X분

스트림 처리라고도 함(요청과 응답이 "데이터 스트림"을 이룸)

실시간 예측

허용 지연 시간 < 1초

예:

• 신용카드 사기 탐지
• 늦은 예측은 무용지물에 가까움

지연이 우선일 때

• 더 약하지만 더 빠른 모델이 더 강하지만 더 느린 모델보다 가치 있음
• 지연 시간 감소를 위해 최종 사용자 기기에 배포 => "엣지 배포"
  • ML 탑재 스마트폰 앱:
    • 내비게이션 앱
    • 얼굴 인식 잠금 해제
    • 이미지 필터

Vamos praticar!

MLOps 배포와 라이프사이클링