MLOps 배포 전략의 자동화

완전 자동화된 MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

모델 배포 - 예측 서비스

MLOps 기준 아키텍처에서 예측 서비스 요소가 강조된 이미지.

완전 자동화된 MLOps

예측 서비스 - 모드 요약

예측 제공 방식:

  • 배치
  • 스트림
  • 실시간
  • 엣지
완전 자동화된 MLOps

예측 서비스 - 배치 서빙

$$

  • 대량 예측

$$

  • 주기적 스케줄

$$

  • 이벤트 트리거

$$

$$

$$

배치 처리 도식. 모든 입력이 배치 엔진에 전달되고, 전체 처리 후 출력이 일괄 제공된다.

완전 자동화된 MLOps

예측 서비스 - 스트리밍 서빙

$$

  • 지속 유입 데이터

$$

  • 지속 제공 예측

$$

$$

스트림 처리 도식. 요소가 지속적으로 스트림 엔진에 전달되고, 처리 후 출력 스트림으로 연속 제공된다.

완전 자동화된 MLOps

예측 서비스 - 실시간

$$

  • 단일 레코드

$$

  • 즉시 예측

$$

$$

실시간 상호작용 다이어그램.

완전 자동화된 MLOps

예측 서비스 - 엣지(Edge)

$$

  • 모바일 디바이스

$$

  • IoT 디바이스

$$

  • 지연 시간 감소

$$

모바일 패드에서 실행 중인 IoT 애플리케이션 이미지.

완전 자동화된 MLOps

배포 전략

$$

ML 서빙 유형은 예측 서비스를 어떻게 배포·업데이트할지 결정합니다

모델 배포 전략:

  • 섀도 배포
  • 카나리 배포
  • A/B 테스트
  • 블루/그린
완전 자동화된 MLOps

A/B 테스트

배포된 예측 서비스에서의 A/B 테스트 도식. 요청이 로드 밸런서로 가고, 모델 A/B로 분산된다. 성능은 지속 모니터링된다.

완전 자동화된 MLOps

A/B 테스트

A/B 테스트 배포 도식. 충분히 모니터링 후 모델 B가 더 우수하면, 모든 요청이 성능 최상 모델로 전환된다.

완전 자동화된 MLOps

섀도 배포

섀도 배포 도식. 요청이 로드 밸런서로 가고, 라이브·섀도 모델 모두에 전달된다. 예측은 라이브 모델만 반환하며, 두 모델 성능을 지속 모니터링한다.

완전 자동화된 MLOps

블루/그린 배포

블루/그린 배포 도식. 블루 환경에서 모델이 운영 중.

완전 자동화된 MLOps

블루/그린 배포

업데이트된 모델이 블루 환경 복제본(그린)에 배포된다. 트래픽 스위치가 요청을 블루에서 그린으로 자동 전환하기 시작한다.

완전 자동화된 MLOps

블루/그린 배포

블루/그린 배포 도식. 모든 트래픽이 점진적·자동으로 블루에서 그린으로 전환된다.

완전 자동화된 MLOps

블루/그린 배포

전환 완료 후 블루 환경을 삭제할 수 있다. 업데이트된 모델의 그린이 새 운영 환경이 된다.

완전 자동화된 MLOps

예측 서비스 배포·업데이트

$$

모델 유형이 배포 전략을 결정

배포 전략과 특성(무중단, 조건 기반, 롤백 시간, 추가 비용) 표.

완전 자동화된 MLOps

연습해 봅시다!

완전 자동화된 MLOps

Preparing Video For Download...