直接监控技术性能

机器学习监控概念

Hakim Elakhrass

Co-founder and CEO of NannyML

协变量漂移与性能关系

三种协变量漂移：

  • 向特定区域漂移

    • 申请贷款的高收入人群增多

  • 向代表性不足区域漂移

    • 申请贷款的技术行业人群从训练数据的0.5%增至10%

  • 向不确定性更高的区域漂移

    • 临界边界附近的中等收入人群占比从20%升至40%

 

-> 无影响

 

-> 影响未知

 

-> 负面影响

机器学习监控概念

必然的负面影响

 
 
 
 

向不确定区域的协变量漂移必然损害性能

可视化图显示训练期中模型最不确定的区域。然而在生产中，处于该区域的人数比之前更多。

机器学习监控概念

误报问题

图中以点表示告警；当点太多时，重要的点会被淹没

机器学习监控概念

技术性能的重要性

  • 直接衡量模型完成任务的效果

 

  • 反映任何无声故障

 

  • 减少误报过载

图示监控流程：首框为"性能监控"，下方虚线框问"模型仍在正常表现吗？"，右侧菱形为"性能下降"。其上方"是"箭头继续向右，标"否"的箭头回到"性能监控"。

机器学习监控概念

让我们练习！

机器学习监控概念

Preparing Video For Download...