NannyML とは？

Pythonで学ぶ機械学習のモニタリング

Hakim Elakhrass

Co-founder and CEO of NannyML

受講前提

  • 機械学習モニタリングの基礎トピック:
    • 理想的なモニタリングのワークフロー
    • 本番での ML モデル監視の課題
    • 2 つのサイレント障害：共変量シフトとコンセプトドリフト
    • 共変量シフト検出の 6 手法
    • CBPE と DLE の理論と性能推定
Pythonで学ぶ機械学習のモニタリング

本コースの内容

  • NannyML で堅牢なモニタリングを構築
  • 性能推定アルゴリズムを実装
  • ビジネス計算機でモデルの金銭的価値を評価
  • 単変量・多変量の共変量シフト検出を実行
Pythonで学ぶ機械学習のモニタリング

モニタリングの課題

$$

正解データにアクセス不可

時系列の ROC AUC 指標を示すグラフ。デプロイ後は正解がないため空白になっている。

$$

アラート疲れ

データ分布が時系列で変化する図。赤はシフトを示す。コメントがあり、本当に問題か誤検知かを問うている。

Pythonで学ぶ機械学習のモニタリング

オープンソースの解決策

NannyML のロゴと、Walmart、Allianz、UBS、DeepMind などの導入企業。NannyML はあらゆるフレームワークで動作する旨も記載。

Pythonで学ぶ機械学習のモニタリング

主な機能

  1. 重要な指標を監視
    • パフォーマンスの推定と計算
    • ビジネス価値の推定と計算
  2. 不具合を特定
    • 単変量
    • 多変量
    • データ品質
  3. 修正
    • 再学習トリガー
Pythonで学ぶ機械学習のモニタリング

NannyML の使い方

テストと本番のデータが NannyML に取り込まれる図。

import nannyml

# Load the dataset
reference, analysis, analysis_gt = nannyml.load_us_census_ma_employment_data()
Pythonで学ぶ機械学習のモニタリング

演習に進みましょう！

Pythonで学ぶ機械学習のモニタリング

Preparing Video For Download...