비즈니스 가치 계산과 추정

Python으로 Machine Learning 모니터링

Maciej Balawejder

Data Scientist

모델의 비즈니스 가치

  • 머신러닝 모델의 목표는 비즈니스에 가치를 제공하는 것입니다.
  • 모델의 비즈니스 가치는 다음 이유로 감소할 수 있습니다:
    • 고객 습관의 변화
    • 모델이 더 이상 유용하지 않음
Python으로 Machine Learning 모니터링

혼동 행렬

TP, FN, FP, TN 값을 가진 혼동 행렬을 보여줍니다.

  • True positive(TP): 예약이 취소되지 않는다고 올바르게 예측
  • False positive(FP): 예약이 취소되지 않는다고 잘못 예측
  • False negative(FN): 예약이 취소된다고 잘못 예측
  • True negative(TN): 예약이 취소된다고 올바르게 예측
Python으로 Machine Learning 모니터링

비즈니스 가치 공식

혼동 행렬과 비즈니스 가치 행렬의 곱셈과 합을 보여줍니다.

  • True positive(TP): 가치 변동 없음
  • False positive(FP): 재배치와 할인으로 호텔 비용 $200 발생
  • False negative(FN): 대체 투숙객 찾을 때까지 1박 비용 $100 발생
  • True negative(TN): 다른 고객에게 객실 대여 가능하여 $1000 가치
Python으로 Machine Learning 모니터링

레이블이 있을 때

레이블이 있을 때 모델의 비즈니스 가치를 계산하는 과정을 보여줍니다.

# Initialize the calculator
calculator = nannyml.PerformanceCalculator(...
    problem_type='classification_binary',
    metrics=['business_value'],
    # [value_of_TN, value_of_FP], [value_of_FN, value_of_TP]]
    business_value_matrix = [[0, -200],[-100, 1000]],
    normalize_business_value='None')
Python으로 Machine Learning 모니터링

레이블이 없을 때

레이블이 없을 때 모델의 비즈니스 가치를 추정하는 과정을 보여줍니다.

# Initialize the estimator
estimator = nannyml.CBPE(...
    problem_type='classification_binary',
    metrics=['business_value'],
    # [value_of_TN, value_of_FP], [value_of_FN, value_of_TP]]
    business_value_matrix = [[0, -200],[-100, 1000]],
    normalize_business_value='per_prediction')
Python으로 Machine Learning 모니터링

Laten we oefenen!

Python으로 Machine Learning 모니터링

Preparing Video For Download...