비즈니스가 MLOps 준비를 완성하는 방법

비즈니스를 위한 MLOps

Arne Jonas Warnke

Head of Emerging Curriculum

우리의 MLOps 현 수준은?

$$

MLOps 역량을 개선하려면

• 평가
• 측정

이것을 어떻게 할 수 있을까요?

$$

MLOps 성숙도 모델

Microsoft:

• 5단계

관련 대상

• 프로세스, 기술, 사람

Google:

• 3단계

관련 대상

• 자동화 수준

$$

$$

Microsoft MLOps 성숙도 모델 - 레벨 0

$$

수준	설명	하이라이트
0	MLOps 없음	사일로 팀, 수동 프로세스

¹ https://learn.microsoft.com/en-us/azure/architecture/example-scenario/mlops/mlops-maturity-model

Microsoft MLOps 성숙도 모델 - 레벨 1

$$

수준	설명	하이라이트
0	MLOps 없음	사일로 팀, 수동 프로세스
1	DevOps만, MLOps 없음	사일로 팀, 데이터 자동 수집, 초기 자동 테스트

¹ https://learn.microsoft.com/en-us/azure/architecture/example-scenario/mlops/mlops-maturity-model

Microsoft MLOps 성숙도 모델 - 레벨 2

$$

수준	설명	하이라이트
0	MLOps 없음	사일로 팀, 수동 프로세스
1	DevOps만, MLOps 없음	사일로 팀, 데이터 자동 수집, 초기 자동 테스트
2	학습 자동화	협업 향상, 재현성, 배포 용이

¹ https://learn.microsoft.com/en-us/azure/architecture/example-scenario/mlops/mlops-maturity-model

Microsoft MLOps 성숙도 모델 - 레벨 3

$$

수준	설명	하이라이트
0	MLOps 없음	사일로 팀, 수동 프로세스
1	DevOps만, MLOps 없음	사일로 팀, 데이터 자동 수집, 초기 자동 테스트
2	학습 자동화	협업 향상, 재현성, 배포 용이
3	배포 자동화	원활한 협업, 완전한 재현성, 추적 가능성, 자동 테스트

¹ https://learn.microsoft.com/en-us/azure/architecture/example-scenario/mlops/mlops-maturity-model

Microsoft MLOps 성숙도 모델 - 레벨 4

$$

수준	설명	하이라이트
0	MLOps 없음	사일로 팀, 수동 프로세스
1	DevOps만, MLOps 없음	사일로 팀, 데이터 자동 수집, 초기 자동 테스트
2	학습 자동화	협업 향상, 재현성, 배포 용이
3	배포 자동화	원활한 협업, 완전한 재현성, 추적 가능성, 자동 테스트
4	재학습 자동화	완전한 협업, 운영 숙련, 다운타임 최소

¹ https://learn.microsoft.com/en-us/azure/architecture/example-scenario/mlops/mlops-maturity-model

MLOps를 향한 진척 측정

$$

성숙도 모델은 유용합니다.

• 하지만 진척을 지속적으로 어떻게 측정할까요?
• MLOps KPI?

가능한 MLOps KPI

$$

• 배포 빈도
  • 주당 배포 릴리스 수는?
• 사고 대응 시간
  • 오류 발생 시 애플리케이션 복구까지 걸리는 시간은?
• 변경 요청 리드타임
  • 예: 새 기능 추가에 걸리는 시간.

¹ https://cloud.google.com/blog/products/devops-sre/using-the-four-keys-to-measure-your-devops-performance

연습해 봅시다!

비즈니스를 위한 MLOps