性能评估

机器学习监控概念

Hakim Elakhrass

Co-founder and CEO of NannyML

概览

两种性能评估算法：

  • CBPE——分类任务
  • DLE——回归任务
机器学习监控概念

CBPE - 工作原理

  • 估计混淆矩阵

 

  • 可计算准确率、精确率、召回率等分类指标

 

  • 捕捉协变量偏移对模型的影响

 

该图展示了 CBPE 算法的工作原理。第一个模型基于样本进行预测，并据此确定类别。例如，若对某样本的预测值为 0.9，则因高于 0.5 判为正类；反之低于 0.5 判为负类。对数据集所有样本执行此过程，将置信分数聚合以生成估计的混淆矩阵。

机器学习监控概念

CBPE - 注意事项

  • 在未见区域无协变量偏移

 

  • 输入数据无概念漂移

 

  • 需要概率校准
机器学习监控概念

DLE - 工作原理

  • 预测模型的绝对误差

 

  • 使用外部子模型

 

  • 可计算 MAE、MSE、MSLE 等回归指标

 

  • 捕捉输入数据中的协变量偏移

该图描述了生产环境中的回归任务性能估计流程。先将分析数据输入模型生成预测；再把预测与分析数据一起输入子模型，子模型预测误差。基于该误差预测，计算其他回归指标以评估模型性能。

机器学习监控概念

DLE - 注意事项

  • 在未见区域无协变量偏移

 

  • 输入数据无概念漂移

 

  • 额外复杂度
机器学习监控概念

开始练习吧！

机器学习监控概念

Preparing Video For Download...