이상적인 모니터링 워크플로

Monitoring Machine Learning 개념

Hakim Elakhrass

Co-founder and CEO of NannyML

모니터링 워크플로

전통적 모니터링 워크플로

  • 기술 성능 계산

  • 입력 데이터 드리프트 기반 알림

  • 거짓 알림이 많음

이상적 모니터링 워크플로

  • 기술 성능 모니터링

    • 성능 계산 및 추정

  • 근본 원인 분석

    • 드리프트와 성능 저하를 연결

 

이상적인 모니터링 워크플로로, 먼저 성능을 모니터링하고 성능 저하 시 근본 원인 분석을 수행한 뒤 이슈를 해결합니다.

Monitoring Machine Learning 개념

성능 모니터링

포함 사항:

  • 성능 계산 - 정확도 등 기술 지표

 

  • 성능 추정 - 정답 라벨이 없을 때

 

  • 비즈니스 영향 측정 - 핵심 지표(KPI) 모니터링

  시간에 따른 정확도 그래프로, 정확도가 감소해 임계값을 하회합니다.

시간에 따른 KPI 그래프로, KPI가 설정된 임계값 내에 유지됩니다.

Monitoring Machine Learning 개념

근본 원인 분석

조사 목표:

 

  • 공변량 변화 - 입력 데이터 분포의 변화

 

  • 개념 드리프트 - 특징과 타깃 간 관계의 변화

작동 중인 모델에서 파란 원과 빨간 원 사이의 결정 경계를 보여줍니다.

파란 원이 결정 경계를 넘어 이동해 공변량 변화를 나타냅니다.

결정 경계가 변하여 개념 드리프트를 나타냅니다.

Monitoring Machine Learning 개념

이슈 해결

가능한 해결책:

  • 재학습 - 추가 데이터와 연산 자원 필요

 

  • 유스케이스 리팩터링 - 접근 방식과 기법 재검토

 

  • 다운스트림 프로세스 변경 - 예측을 둘러싼 프로세스 수정

  이미지는 기계 학습 모델을 뜻하는 디지털 뇌와 데이터베이스가 플러스 기호로 연결되어, 더 많은 데이터로 모델을 재학습하는 과정을 나타냅니다.

이미지는 특징 공학, 사용된 특징, 선형 회귀에 대한 질문이 있는 설계 보드를 보여줍니다.

이미지는 작업자가 컴퓨터에서 무언가를 수동으로 검증하는 모습을 보여줍니다.

Monitoring Machine Learning 개념

연습해 봅시다!

Monitoring Machine Learning 개념

Preparing Video For Download...