기술 성능을 직접 모니터링하기

Monitoring Machine Learning 개념

Hakim Elakhrass

Co-founder and CEO of NannyML

공변량 변화와 성능의 관계

세 가지 공변량 변화:

  • 특정 구간으로의 변화

    • 대출 신청자 중 고소득 비율 증가

  • 소수 구간으로의 변화

    • 학습 데이터의 0.5% 대신 기술 직군이 10% 신청

  • 불확실한 구간으로의 변화

    • 의사결정 경계 근처 중간소득 비율이 20%→40%로 증가

 

-> 영향 없음

 

-> 영향 불명

 

-> 부정적 영향

Monitoring Machine Learning 개념

부정적 영향은 확실

 
 
 
 

불확실한 구간으로의 공변량 변화는 항상 성능을 악화시킵니다

시각화에서 학습 기간에 모델이 가장 확신이 낮은 구간을 강조합니다. 그러나 운영 기간에는 이 구간에 위치한 사람이 더 많습니다.

Monitoring Machine Learning 개념

거짓 경고 문제

이미지는 경고를 점으로 표시하며, 점이 너무 많으면 중요한 점이 묻히는 모습을 보여줍니다

Monitoring Machine Learning 개념

기술 성능의 중요성

  • 현재 작업에 대한 모델 성능을 직접 나타내는 지표

 

  • 조용한 모델 실패를 모두 반영

 

  • 거짓 경고 과부하 제거

모니터링 다이어그램의 일부입니다. 첫 상자에 성능 모니터링, 점선으로 연결된 점선 상자에 "모델이 여전히 잘 수행하는가" 질문, 오른쪽에 마름모에 "성능 저하", 그 오른쪽으로 "예"가 있는 화살표, 그리고 "아니오"가 있는 화살표가 성능 모니터링 상자로 되돌아옵니다.

Monitoring Machine Learning 개념

연습해 봅시다!

Monitoring Machine Learning 개념

Preparing Video For Download...