技術的パフォーマンスを直接監視する

Machine Learning モニタリングの基礎概念

Hakim Elakhrass

Co-founder and CEO of NannyML

共変量シフトと性能の関係

3つの共変量シフト:

  • 特定領域へのシフト

    • 高所得者のローン申請が増加

  • 代表性の低い領域へのシフト

    • 訓練時0.5%→本番で技術職が10%申請

  • 不確実な領域へのシフト

    • 中所得層が20%→40%に増加（決定境界付近）

 

-> 影響なし

 

-> 影響不明

 

-> 悪影響

Machine Learning モニタリングの基礎概念

負の影響は確実

 
 
 
 

不確実な領域へのシフトは常に性能を下げる

学習期間の可視化でモデルの不確実な領域が示される。本番ではその領域に属する人が以前より増えている。

Machine Learning モニタリングの基礎概念

誤アラートの問題

多数のアラートの中で重要なアラートが埋もれてしまうことを示すドットの図

Machine Learning モニタリングの基礎概念

技術的性能の重要性

  • タスク達成度を示す直接指標

 

  • サイレントな故障も反映

 

  • 誤アラート過多を回避

監視フローの一部。最上段に性能監視、その下に点線で「モデルはまだ期待どおりか？」、右にダイヤ形で「性能劣化」。右矢印に「はい」、左へループして性能監視に戻る矢印に「いいえ」。

Machine Learning モニタリングの基礎概念

練習しましょう！

Machine Learning モニタリングの基礎概念

Preparing Video For Download...