业务价值的计算与估计

Python 中的机器学习监控

Maciej Balawejder

Data Scientist

模型业务价值

机器学习模型的目标是为业务创造价值。
模型的业务价值可能下降，原因包括：
- 客户习惯改变
- 模型可能已不再有用

混淆矩阵

图片展示含 TP、FN、FP、TN 的混淆矩阵。

真阳性（TP）——正确预测预订不会取消
假阳性（FP）——错误预测预订不会取消
假阴性（FN）——错误预测预订会取消
真阴性（TN）——正确预测预订会取消

业务价值公式

图片展示混淆矩阵与业务价值矩阵的乘加过程。

真阳性（TP）——不增不减。
假阳性（FP）——导致调房与折扣，酒店成本 $200。
假阴性（FN）——酒店成本 $100，需垫付一晚直到补订。
真阴性（TN）——价值 $1000，可将房间转租他人。

有标签时

图片展示在有标签时计算模型业务价值的流程。

# Initialize the calculator
calculator = nannyml.PerformanceCalculator(...
    problem_type='classification_binary',
    metrics=['business_value'],
    # [value_of_TN, value_of_FP], [value_of_FN, value_of_TP]]
    business_value_matrix = [[0, -200],[-100, 1000]],
    normalize_business_value='None')

无标签时

图片展示在无标签时计算模型业务价值的流程。

# Initialize the estimator
estimator = nannyml.CBPE(...
    problem_type='classification_binary',
    metrics=['business_value'],
    # [value_of_TN, value_of_FP], [value_of_FN, value_of_TP]]
    business_value_matrix = [[0, -200],[-100, 1000]],
    normalize_business_value='per_prediction')

Passons à la pratique !

Python 中的机器学习监控