성능 추정

Monitoring Machine Learning 개념

Hakim Elakhrass

Co-founder and CEO of NannyML

개요

두 가지 성능 추정 알고리즘:

  • CBPE - 분류 작업
  • DLE - 회귀 작업
Monitoring Machine Learning 개념

CBPE - 동작 원리

  • 혼동 행렬 추정

 

  • 정확도, 정밀도, 재현율 등 분류 지표 계산 가능

 

  • 공변량 이동이 모델에 미치는 영향 포착

 

CBPE 알고리즘이 작동 방식을 보여 줍니다. 첫 번째 모델이 예시에 대해 예측을 하고, 이 예측으로 클래스를 정합니다. 예를 들어 값이 0.9이면 0.5 초과이므로 양성, 0.5 미만이면 음성입니다. 이 과정을 전체 데이터셋에 적용해 신뢰 점수를 집계하고 추정 혼동 행렬을 생성합니다.

Monitoring Machine Learning 개념

CBPE - 고려사항

  • 보이지 않은 구간에 공변량 이동 없음

 

  • 유입 데이터에 개념 드리프트 없음

 

  • 확률 보정 필요
Monitoring Machine Learning 개념

DLE - 동작 원리

  • 모델의 절대 오차 예측

 

  • 외부 하위 모델 사용

 

  • MAE, MSE, MSLE 등 회귀 지표 계산 가능

 

  • 입력 데이터의 공변량 이동 포착

이미지는 운영 환경의 회귀 성능 추정 과정을 보여 줍니다. 먼저 분석 데이터를 모델에 입력해 예측을 생성합니다. 이 예측과 분석 데이터를 하위 모델에 전달해 오차를 예측합니다. 이 오차 예측으로 다른 회귀 지표를 계산해 모델 성능을 평가합니다.

Monitoring Machine Learning 개념

DLE - 고려사항

  • 보이지 않은 구간에 공변량 이동 없음

 

  • 유입 데이터에 개념 드리프트 없음

 

  • 추가 복잡성
Monitoring Machine Learning 개념

연습해 봅시다!

Monitoring Machine Learning 개념

Preparing Video For Download...