머신 러닝의 위험

비즈니스를 위한 Machine Learning

Karolis Urbonas

Head of Machine Learning & Science, Amazon

성능 저하

일부 모델은 성능이 낮습니다(반드시 훈련이 아닌 테스트 성능을 검토):

• 낮은 정밀도(precision)

• 낮은 재현율(recall)

• 큰 오차

낮은 정밀도

낮은 정밀도 — 관심 클래스에 오분류가 많음 = 거짓 양성 다수

예: 구매 가능 고객으로 예측된 이들 중 실제 구매자는 10%뿐

낮은 재현율

낮은 재현율 — 실제 양성 중 모델이 올바르게 포착한 비율이 낮음

예: 모든 사기 거래 중 25%만 모델이 식별

큰 오차

큰 오차 — 예측값과 실제값의 차이가 큼

예: 고객 만족도 예측의 평균 오차가 3.5단위(또는 70%p)

실행 불가능한 모델 활용 사례

Q: 모델을 올바르게 테스트하려면?

A: 성능 검증을 위한 테스트/실험 수행. 예: 이탈 방지 이메일, 프로모션, 수동 설비 점검, 수동 거래 심사

A/B 테스트

테스트가 통하지 않을 때

• 데이터를 더 수집 — 비즈니스 참여 필수
• 원인 모델로 동인 파악
• 정성 조사 수행(설문 등)
• 문제 범위 조정
  • 더 좁게
  • 더 넓게
  • 다른 질문으로

Let's practice!

비즈니스를 위한 Machine Learning