モデルの保守

MLOpsのデプロイとライフサイクル

Nemanja Radojkovic

Senior Machine Learning Engineer

前回までに…

  • 異常や変動をどう検知するか?

 

本レッスンの焦点:MLモデルの失敗

MLOpsのデプロイとライフサイクル

モデル劣化

MLOpsのデプロイとライフサイクル

モデル改善

MLOpsのデプロイとライフサイクル

データセット改善

MLOpsのデプロイとライフサイクル

モデル中心

MLOpsのデプロイとライフサイクル

データ中心

1 https://datacentricai.org/
MLOpsのデプロイとライフサイクル

量より質

  • 関連情報のある特徴量を増やす
  • より良いラベルを得る

 

ラベル == 学習用データの目的変数の値

ラベル品質 == 真値への近さ

MLOpsのデプロイとライフサイクル

不良ラベル

MLOpsのデプロイとライフサイクル

不良予測

MLOpsのデプロイとライフサイクル

ラベリングツールの利点

手動ラベリングは複雑・長時間・ミスが起きやすい

良いラベリングツールを使う!

  • ラベリングが効率的に
  • 精度向上
  • 目的に合ったUI
  • 「まずこの例にラベル付けすると効果大」
  • 「ここは誤りの可能性があります」

ラベリングツール

例:画像分類器向けの画像ラベリングツール

MLOpsのデプロイとライフサイクル

Human-in-the-Loop

MLOpsのデプロイとライフサイクル

HIL 2

MLOpsのデプロイとライフサイクル

専門家の入力

MLOpsのデプロイとライフサイクル

MLOpsのデプロイとライフサイクル

ラベル到着時

  • MLビルドパイプラインを実行 => 新モデル
  • 新モデルが旧モデルより良いか確認
    • YES => テストしてデプロイ
    • NO => 継続して探索
MLOpsのデプロイとライフサイクル

探索を続ける

  • 新しいモデルを試す
  • 新しい特徴量を試す
  • 新しいデータ源を試す

 

非常に有用:メタデータストア(MLflow Tracking など)

  • モデル選定の過程を記録
  • 実験の重複を回避

 

いずれにせよ: MLOps は最速・最効率でモデルを保守

MLOpsのデプロイとライフサイクル

練習に進みましょう!

MLOpsのデプロイとライフサイクル

Preparing Video For Download...