모델 성능 측정

비즈니스를 위한 Machine Learning

Karolis Urbonas

Head of Machine Learning & Science, Amazon

성능 측정 종류

지도학습의 핵심 지표:

  1. 정확도 --> 분류
  2. 오차 --> 회귀
비즈니스를 위한 Machine Learning

분류 성능

  • 정확도

  • 재현율

  • 정밀도

비즈니스를 위한 Machine Learning

이탈 예시

c1

비즈니스를 위한 Machine Learning

이탈 예시

c2

비즈니스를 위한 Machine Learning

이탈 예측

c3

비즈니스를 위한 Machine Learning

오분류 항목

c4

비즈니스를 위한 Machine Learning

다른 이탈 예측

c5

비즈니스를 위한 Machine Learning

정확도

acc

비즈니스를 위한 Machine Learning

정밀도

precision

비즈니스를 위한 Machine Learning

재현율

recall

비즈니스를 위한 Machine Learning

회귀 성능

  • 오차
비즈니스를 위한 Machine Learning

회귀 예시

r1

비즈니스를 위한 Machine Learning

선으로 매출 예측하기

r2

비즈니스를 위한 Machine Learning

회귀 오차

r3

비즈니스를 위한 Machine Learning

비선형 모델 테스트

r4

비즈니스를 위한 Machine Learning

오차 개선

r5

비즈니스를 위한 Machine Learning

실행 가능한 모델 - A/B 테스트

좋은 모델이 항상 실행 가능하진 않습니다:

이탈 예측, 구매 예측, 고장 예측

모델 적용이 성과를 내는지 검증하십시오:

이탈 예측 고객에 인센티브 제공(할인, 쿠폰, 프로모션)

구매 가능성이 높은 고객에게 리마인더 메일과 상품 정보 발송

이로 인해 이탈 감소, 구매율 증가, 고장 감소가 있었습니까? 예라면 자동화에 반영하십시오. 아니오라면 더 많은 데이터를 수집하고 모델을 개선해 다시 테스트하십시오.

비즈니스를 위한 Machine Learning

연습해 봅시다!

비즈니스를 위한 Machine Learning

Preparing Video For Download...