実験トラッキング

MLOpsの概念

Folkert Stijnman

ML Engineer

機械学習の実験

機械学習実験の要素

MLOpsの概念

なぜ実験トラッキングが重要か

各実験では、次を設定できます:

機械学習の設定項目

MLOpsの概念

MLライフサイクルでの活用

実験トラッキングの利点:

  • 結果を比較できる
  • 過去の実験を再現できる
  • 開発者・関係者と協働しやすい
  • 結果を関係者に報告しやすい
MLOpsの概念

実験をどう記録するか

ツール 長所 短所
スプレッドシート 直感的で使いやすい 手作業が多い
独自プラットフォーム 自社プロセスに特化したカスタム対応 時間と労力が必要
実験トラッキングツール 実験用に特化して設計 ツール習熟が必要

 

MLOpsの概念

機械学習の実験例

機械学習実験の例

MLOpsの概念

実験のプロセス

  1. 仮説を立てる:「〜と期待する」
  2. 画像とラベルを収集
  3. 実験を定義(モデル種別、ハイパーパラメータ、データセットなど)
  4. 実験トラッキングを設定
  5. 機械学習モデルを学習
  6. ホールドアウトテストセットで評価
  7. 最適なモデルを登録
  8. 可視化して関係者に報告し、次の方針を決定

機械学習モデルの学習とテスト

MLOpsの概念

Let's practice!

MLOpsの概念

Preparing Video For Download...