正解データの有無

Machine Learning モニタリングの基礎概念

Hakim Elakhrass

Co-founder and CEO of NannyML

即時の正解データ

タクシー到着予測に関連するタクシーの画像。

  • 実績性能を測定

  • 評価が容易

  • 高精度

Machine Learning モニタリングの基礎概念

本番データ - 即時

分類問題の性能推移グラフ。「参照期間」はテストデータ、「分析期間」は本番データのストリームを示す。さらに、正解ラベルを強調した表形式データがある。

Machine Learning モニタリングの基礎概念

遅延する正解データ

貸倒れ予測に関連する空の財布の画像。

  • 遅延は用途に依存
  • 例: 貸倒れ予測
  • その間の性能は不明
  • 性能推定が必要
Machine Learning モニタリングの基礎概念

本番データ - 遅延

分類問題の性能推移グラフ。「参照期間」はテストデータ、「分析期間」は本番データのストリームを示す。さらに、正解ラベルを強調した表形式データがある。

Machine Learning モニタリングの基礎概念

正解データなし

保険の価格設定事例に関連する保険証券の画像。

  • 完全自動のプロセスで発生
  • 例: 保険料の算定
  • 実際の性能は不明
  • 性能推定が必要
Machine Learning モニタリングの基礎概念

本番データ - なし

分類問題の性能推移グラフ。「参照期間」はテストデータ、「分析期間」は本番データのストリームを示す。さらに、正解ラベルを強調した表形式データがある。

Machine Learning モニタリングの基礎概念

Passons à la pratique !

Machine Learning モニタリングの基礎概念

Preparing Video For Download...