如何应对概念漂移?

机器学习监控概念

Hakim Elakhrass

Co-founder and CEO of NannyML

概念漂移检测

  • 基于误差的方法
    • 跟踪误差随时间的变化
    • 需要真实标签

 

  • 用训练数据和生产数据训练新模型
    • 预测变化即为概念漂移
    • 在复杂场景中成本高
机器学习监控概念

再训练

图中有两幅图。第一幅显示模型准确率随时间逐步下降。第二幅先小幅下降,随后再训练使准确率上升,并周期性重复。

优势:

  • 使模型与最新模式保持一致

 

劣势:

  • 成本更高,失败风险增加
  • 不提供问题根因
机器学习监控概念

在线学习

该图展示在线学习流程:应用的数据进入数据库,立即用于更新模型;更新后的模型再次部署。

优势:

  • 实时适应变化条件

 

劣势:

  • 需要持续获得真实标签
  • 对噪声敏感
  • 需谨慎调参
机器学习监控概念

其他解决方案

 

  • 针对重复事件的特定模型

 

  • 设定新数据的权重
    • 更侧重新数据时,模型更易适应

 

时间线显示:11月23日部署常规模型,11月24日部署黑色星期五模型,之后再次部署常规模型。

机器学习监控概念

让我们来练习!

机器学习监控概念

Preparing Video For Download...