理想的监控流程

机器学习监控概念

Hakim Elakhrass

Co-founder and CEO of NannyML

监控流程

传统监控流程

• 计算技术性能

• 基于输入数据漂移告警

• 产生大量误报

理想监控流程

• 技术性能监控

  • 计算并估计性能

• 根因分析

  • 将漂移与性能下降关联

 

监控性能

包括：

• 计算性能——如准确率等技术指标

 

• 估计性能——当缺少真实标签时

 

• 衡量业务影响——监控关键指标（KPI）

 

根因分析

目标是调查：

 

• 协变量偏移——输入数据分布发生变化

 

• 概念漂移——特征与目标间关系发生变化

问题解决

可行方案：

• 重新训练——需要更多数据与算力

 

• 重构用例——退一步，重思所用方法

 

• 调整下游流程——修改与预测相关的流程

 

Passons à la pratique !

机器学习监控概念