性能推定

Machine Learning モニタリングの基礎概念

Hakim Elakhrass

Co-founder and CEO of NannyML

概要

2つの性能推定アルゴリズム:

  • CBPE：分類タスク
  • DLE：回帰タスク
Machine Learning モニタリングの基礎概念

CBPE - 仕組み

  • 混同行列を推定

 

  • 正解率・適合率・再現率などの分類指標を算出可能

 

  • 共変量シフトの影響を捉える

 

CBPE アルゴリズムの動作を示す図。最初のモデルが各サンプルに対して予測を出し、その確信度に基づきクラスを決定する。例えば予測が 0.9 なら 0.5 を超えるため陽性、0.5 未満なら陰性。すべてのサンプルの確信度を集約し、推定された混同行列を生成する。

Machine Learning モニタリングの基礎概念

CBPE の留意点

  • 未観測領域で共変量シフトがないこと

 

  • 受信データに概念ドリフトがないこと

 

  • 確率のキャリブレーションが必要
Machine Learning モニタリングの基礎概念

DLE - 仕組み

  • モデルの絶対誤差を予測

 

  • 外部の子モデルを使用

 

  • MAE、MSE、MSLE などの回帰指標を算出可能

 

  • 入力データの共変量シフトの有無を捉える

本番の回帰タスクにおける性能推定の流れ。まず解析データをモデルに入力して予測を得る。次に予測と解析データを子モデルに与え、誤差を予測する。その誤差予測を用いて他の回帰指標を計算し、モデル性能を評価する。

Machine Learning モニタリングの基礎概念

DLE の留意点

  • 未観測領域で共変量シフトがないこと

 

  • 受信データに概念ドリフトがないこと

 

  • 追加の複雑性
Machine Learning モニタリングの基礎概念

¡Vamos a practicar!

Machine Learning モニタリングの基礎概念

Preparing Video For Download...