ML 모델 모니터링의 과제

Monitoring Machine Learning 개념

Hakim Elakhrass

Co-founder and CEO of NannyML

머신 러닝 프로젝트 구성요소

세 개의 원으로 된 벤 다이어그램이 소프트웨어 공학, 데이터 분석, 머신 러닝을 나타내며, 세 원의 교집합이 데이터 사이언스를 나타냅니다.

Monitoring Machine Learning 개념

모델이 예측을 만들지 못함

가능한 문제:

  • 언어 장벽 - 서로 다른 프로그래밍 언어를 "접착" 코드로 결합

 

  • 코드 유지보수 - 업데이트된 의존성 간 호환성 문제

 

  • 확장성 문제 - 더 많은 사용자를 처리할 인프라 미흡
Monitoring Machine Learning 개념

모델 예측이 실패함

공변량 변화(Covariate shift)

  • 입력 분포의 변화
  • 통계적 방법으로 탐지 가능
  • 모든 드리프트가 성능에 영향 주는 것은 아님

 

훈련 세트와 운영 세트의 고객 나이 분포를 비교한 밀도 그래프. 훈련 세트는 낮은 나이 쪽으로 치우쳐 있고, 운영 세트는 유사하나 높은 나이에서 스파이크가 있습니다.

개념 드리프트(Concept drift)

  • 입력 데이터와 타깃 간 관계의 변화
  • 탐지가 어렵습니다
  • 거의 항상 모델의 비즈니스 효과에 영향

훈련 세트와 운영 세트 모두에서 고객 생애가치(CLV)와 입력 특성 Age 사이에 관계가 있으나, 운영에서는 그 관계가 달라져 개념 드리프트를 시사합니다.

Monitoring Machine Learning 개념

정답(ground truth) 가용성

의류 매장의 이미지.

Monitoring Machine Learning 개념

연습해 봅시다!

Monitoring Machine Learning 개념

Preparing Video For Download...