MLモデル監視の課題

Machine Learning モニタリングの基礎概念

Hakim Elakhrass

Co-founder and CEO of NannyML

機械学習プロジェクトの構成要素

ソフトウェア工学、データ分析、機械学習の3つの円のベン図。3者の交差がデータサイエンスを表す。

Machine Learning モニタリングの基礎概念

モデルが予測できない

起こりうる問題：

  • 言語の壁―異なる言語を"glue"コードで連携

 

  • 保守性―依存関係更新で非互換が発生

 

  • スケーリング―ユーザー増に耐える基盤が脆弱
Machine Learning モニタリングの基礎概念

モデル予測が失敗する

共変量シフト

  • 入力分布の変化
  • 統計手法で検知可能
  • すべてが性能に影響するわけではない

 

訓練と本番の顧客年齢の分布比較。訓練は低年齢に偏り、本番は類似だが高年齢側にスパイクがある。

コンセプトドリフト

  • 入力と目的変数の関係が変化
  • 検知が難しい
  • 事業インパクトにほぼ必ず影響

CLVと特徴量Ageの関係を訓練と本番で比較。本番で関係が変化しており、コンセプトドリフトの兆候を示す。

Machine Learning モニタリングの基礎概念

正解データの可用性

衣料品店の画像。

Machine Learning モニタリングの基礎概念

演習に進みましょう！

Machine Learning モニタリングの基礎概念

Preparing Video For Download...