理想的なモニタリングのワークフロー

Machine Learning モニタリングの基礎概念

Hakim Elakhrass

Co-founder and CEO of NannyML

モニタリングのワークフロー

従来のモニタリングのワークフロー

  • 技術的パフォーマンスを算出

  • 入力データのドリフトでアラート

  • 偽アラートが多発

理想的なモニタリングのワークフロー

  • 技術的パフォーマンスの監視

    • パフォーマンスを算出・推定

  • 根本原因分析

    • ドリフトと性能低下の関連付けが可能

 

理想的なモニタリングのワークフロー。まずパフォーマンス監視を行い、劣化があれば根本原因分析を実施し、最後に問題解決を行います。

Machine Learning モニタリングの基礎概念

パフォーマンスの監視

含む事項:

  • パフォーマンスの算出 — 正解率などの技術指標

 

  • パフォーマンスの推定 — 正解データがない場合

 

  • ビジネス影響の測定 — 主要KPIを監視

  時間経過での正解率の推移。正解率が低下し、閾値を下回っています。

時間に対するKPIの推移。KPIは指定した閾値内に収まっています。

Machine Learning モニタリングの基礎概念

根本原因分析

目的は次を調査すること:

 

  • 共変量シフト — 入力データ分布の変化

 

  • コンセプトドリフト — 特徴量と目的変数の関係の変化

青い円と赤い円の間の判別境界を示す、正常に動作するモデルのプロット。

青い円が判別境界を越えて移動しており、共変量シフトを示すプロット。

判別境界が変化しており、コンセプトドリフトを示すプロット。

Machine Learning モニタリングの基礎概念

問題解決

可能な解決策:

  • 再学習 — 追加のデータと計算資源が必要

 

  • ユースケースのリファクタリング — 一歩引いて手法を見直す

 

  • 下流プロセスの変更 — 予測を取り巻くプロセスを修正

  画像は機械学習モデルを表すデジタル脳と、プラス記号で接続されたデータベースを示し、より多くのデータでモデルを再学習する様子を表しています。

画像は、特徴量エンジニアリング、使用特徴量、線形回帰に関する問いが書かれた図板を示しています。

画像は、作業者がコンピュータで手動確認している様子を示しています。

Machine Learning モニタリングの基礎概念

練習してみましょう！

Machine Learning モニタリングの基礎概念

Preparing Video For Download...