ビジネス価値の計算と推定

Pythonで学ぶ機械学習のモニタリング

Maciej Balawejder

Data Scientist

モデルのビジネス価値

機械学習モデルの目的は、ビジネスに価値をもたらすことです。
モデルのビジネス価値が下がる要因:
- 顧客行動の変化
- モデルが有用でなくなる

混同行列

TP、FN、FP、TN を示す混同行列の画像。

真陽性 (TP): 予約がキャンセルされないと正しく予測
偽陽性 (FP): 予約がキャンセルされないと誤って予測
偽陰性 (FN): 予約がキャンセルされると誤って予測
真陰性 (TN): 予約がキャンセルされると正しく予測

ビジネス価値の算出式

混同行列とビジネス価値行列の積と合計の計算を示す画像。

真陽性 (TP): 価値の増減なし
偽陽性 (FP): 移動や割引が発生し、ホテルに $200 のコスト
偽陰性 (FN): 代替が見つかるまで 1 泊分として $100 のコスト
真陰性 (TN): 他の客に貸せるため $1000 の価値

ラベルがある場合

ラベルがある場合のモデルのビジネス価値計算プロセスを示す画像。

# Initialize the calculator
calculator = nannyml.PerformanceCalculator(...
    problem_type='classification_binary',
    metrics=['business_value'],
    # [value_of_TN, value_of_FP], [value_of_FN, value_of_TP]]
    business_value_matrix = [[0, -200],[-100, 1000]],
    normalize_business_value='None')

ラベルがない場合

ラベルがない場合のモデルのビジネス価値推定プロセスを示す画像。

# Initialize the estimator
estimator = nannyml.CBPE(...
    problem_type='classification_binary',
    metrics=['business_value'],
    # [value_of_TN, value_of_FP], [value_of_FN, value_of_TP]]
    business_value_matrix = [[0, -200],[-100, 1000]],
    normalize_business_value='per_prediction')

練習しましょう！

Pythonで学ぶ機械学習のモニタリング