성능 추적

의사결정 과학 이해하기

Akshay Swaminathan

PD Soros Fellow at Stanford University School of Medicine

모델 성능

모델마다 강점이 다름

  • 하나는 연체 가능성 높은 대상을 잘 식별
  • 다른 하나는 연체 규모를 더 잘 추정

  저울

어떤 모델이 더 좋은가? 목표에 달려 있음

  • 위험 고객을 표시하는 것이 더 중요한가
  • 아니면 연체의 금전적 영향을 추정하는가
의사결정 과학 이해하기

모델 지표

지표마다 성능의 다른 측면을 비춥니다

자주 쓰는 평가 지표:

  • Accuracy(정확도)
  • Precision(정밀도)
  • Recall(재현율)
  • F1-Score
  • AUC(Area Under the Curve)
  • MAE(Mean Absolute Error)
  • MAPE(Mean Absolute Percent Error)

  대시보드

의사결정 과학 이해하기

Accuracy

 

정확성의 전반적 개요

  • 전체 예측 중 맞춘 비율을 측정
  • 클래스가 균형일 때 적합, 예: spam vs not spam

정확도

Precision

 

예측한 양성 중 실제로 맞은 비율

  • 거짓 양성 비용이 클 때 중요
  • 정밀도 낮음 = 정상 거래를 fraudulent로 많이 표시

정밀도

의사결정 과학 이해하기

추가 지표

재현율: 실제 양성을 놓치지 않기

  • 실제 양성을 얼마나 잘 찾는지 측정
  • 놓치면 비용이 큰 경우에 중요(예: 사기, 질병)

AUC: 클래스 분리도 지표

  • 클래스 구분 능력 평가
  • 특정 임계값에 묶이지 않음

회귀 지표: 예측 오차 측정

  • MAE: 예측 오차의 평균 크기
  • MPE: 예측이 퍼센트 기준으로 얼마나 벗어났는지

 

추가 지표

의사결정 과학 이해하기

대시보드의 중요성

대시보드는 복잡한 분석을 명확하고 실행 가능한 인사이트로 바꿔 의사결정을 돕습니다.

 

대시보드 애니메이션

의사결정 과학 이해하기

기본 원칙

 

청중을 파악하십시오

  • 경영진은 요약을 원함
  • 분석가는 세부 정보를 필요로 함

 

핵심 지표 강조

  • 중요한 것만 표시
  • 군더더기와 노이즈 제거

 

명확한 시각화 사용

  • 비교에는 막대, 추세에는 선형 차트
  • 단순한 시각화가 대개 최선

  명확한 예시

의사결정 과학 이해하기

추가 원칙

시간에 따른 변화 추적

  • 모델 성능과 피처 드리프트 모니터링
  • 추세는 지표에 맥락 제공

숫자만이 아니라 맥락 추가

  • 핵심 변화에 짧은 주석 사용
  • 무엇이 왜 일어나는지 이해 돕기

테스트하고 개선

  • 초기에 공유하고 피드백 수집
  • 모델과 요구가 바뀌면 대시보드 업데이트

반복 개선

의사결정 과학 이해하기

Ayo berlatih!

의사결정 과학 이해하기

Preparing Video For Download...