什么是 NannyML？

Python 中的机器学习监控

Hakim Elakhrass

Co-founder and CEO of NannyML

先修要求

  • 机器学习监控概念：
    • 理想的监控流程
    • 生产环境中监控模型的挑战
    • 两类静默失效：协变量漂移与概念漂移
    • 六种协变量漂移检测方法
    • CBPE 与 DLE 性能估计的理论
Python 中的机器学习监控

本课程将涵盖什么？

  • 使用 NannyML 构建稳健的监控系统
  • 实现性能估计算法
  • 用业务计算器估算模型的货币价值
  • 运行单变量与多变量协变量漂移检测
Python 中的机器学习监控

监控挑战

$$

无法获取真实标签

图示 ROC AUC 随时间变化；部署后因无真实标签而为空。

$$

告警疲劳

图示数据分布随时间变化；部分为红色表示发生漂移，并附注释。该担心还是误报？

Python 中的机器学习监控

开源方案

图片显示 NannyML 标志及 Walmart、Allianz、UBS、DeepMind 等用户，并注明 NannyML 适用于任何框架。

Python 中的机器学习监控

核心功能

  1. 监控关键内容
    • 性能估计与计算
    • 业务价值估计与计算
  2. 找出问题
    • 单变量
    • 多变量
    • 数据质量
  3. 解决问题
    • 触发再训练
Python 中的机器学习监控

如何使用 NannyML？

图片显示测试与生产数据流入 NannyML。

import nannyml

# Load the dataset
reference, analysis, analysis_gt = nannyml.load_us_census_ma_employment_data()
Python 中的机器学习监控

Passons à la pratique !

Python 中的机器学习监控

Preparing Video For Download...