モデルを監視すべき理由

Machine Learning モニタリングの基礎概念

Hakim Elakhrass

Co-founder and CEO of NannyML

本番環境での機械学習

一般的な開発プロセス

フローは4要素：プロジェクト定義、データ準備、モデル学習、デプロイ。

デプロイ後

更新版のデータサイエンス開発フロー。デプロイ後にモニタリングの矢印を追加し、モニタリングからデータ準備・学習・デプロイへ戻る矢印で反復改善を表す。

Machine Learning モニタリングの基礎概念

失敗リスクの低減

Zillowの事例

売出中の看板が立つ家。

モデルが失敗する理由：

  • ソフトウェアの不具合
  • 入力データのドリフト
  • 特徴量と目的変数の関係変化
Machine Learning モニタリングの基礎概念

ビジネスインパクトの最大化

 

  • ビジネス目標に沿ってモデルを最適化

 

  • クラウドコストの削減

 

6個の木製ブロックで作られたピラミッド。土台は各ブロックの文字からKPIを作成。上段は成長・目標達成・効率化を表す。

9個の木製ブロックで構成されたクラウドのロゴ。

Machine Learning モニタリングの基礎概念

AIの安全性を高める

3つの安全性の課題：

  • バイアス ― 利用者グループ間で公平な出力

 

  • 逆攻撃 ― 入力データの悪意ある改ざんを検知

 

  • 説明可能性の欠如 ― モデルの意思決定の理解

 

木製ブロックに天秤の目盛りがあり、前方へ動かされて、公平性の向上＝バイアス低減を象徴している。

鍵穴のある木製ブロックが前方へ動かされ、セキュリティ向上を象徴している。

頭部アイコンから伸びる線が描かれた木製ブロックが前方へ動かされ、知能システムの理解向上を表している。

Machine Learning モニタリングの基礎概念

データで世界を変える

自動化プロセス

自動化された生産ラインの画像。

Machine Learning モニタリングの基礎概念

実践してみましょう！

Machine Learning モニタリングの基礎概念

Preparing Video For Download...