什麼是 NannyML？

在 Python 中監控 Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

先備知識

  • 機器學習監控觀念主題：
    • 理想的監控流程
    • 產線中監控 ML 模型的挑戰
    • 兩種隱性失效：協變量轉移與概念漂移
    • 檢測協變量轉移的六種方法
    • CBPE 與 DLE 效能估計方法的理論概念
在 Python 中監控 Machine Learning

本課會涵蓋什麼？

  • 用 NannyML 建立穩健的監控系統
  • 實作效能估計演算法
  • 使用商業計算器評估模型的金額價值
  • 執行單變量與多變量的協變量轉移檢測
在 Python 中監控 Machine Learning

監控難題

$$

無法取得真實標籤

此圖顯示 ROC AUC 隨時間變化；部署後因無法取得真實標籤，圖表為空。

$$

警報疲勞

此圖顯示資料分佈隨時間變化；部分區段為紅色，表示出現轉移，並附註解。該擔心了嗎，還是虛驚一場？

在 Python 中監控 Machine Learning

開源解決方案

此圖顯示 NannyML 標誌與使用 NannyML 的公司，如 Walmart、Allianz、UBS、DeepMind，並註明可搭配任意框架使用。

在 Python 中監控 Machine Learning

核心功能

  1. 監控重點
    • 效能估計與計算
    • 商業價值估計與計算
  2. 找出問題
    • 單變量
    • 多變量
    • 資料品質
  3. 修正
    • 重新訓練觸發條件
在 Python 中監控 Machine Learning

如何使用 NannyML？

此圖顯示測試與生產資料匯入 NannyML。

import nannyml

# Load the dataset
reference, analysis, analysis_gt = nannyml.load_us_census_ma_employment_data()
在 Python 中監控 Machine Learning

一起來練習吧！

在 Python 中監控 Machine Learning

Preparing Video For Download...