MLサービスの監視

MLOpsのデプロイとライフサイクル

Nemanja Radojkovic

Senior Machine Learning Engineer

品質の維持

• 有料顧客＝品質への期待
• 品質保証は品質管理から
• 監視

パフォーマンス指標

基本的な健全性指標

• サービスは稼働中か?
• 一定時間のリクエスト数は?
• レイテンシの分布は?

 

最終的な品質指標

• 予測性能

MLモデルはどう劣化するか?

Passons à la pratique !

MLOpsのデプロイとライフサイクル