MLOpsにおける自動テスト

完全自動化MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

ソフトウェアテストとは

$$

ソフトウェア製品やアプリが期待どおり動作するかを評価・検証するプロセス

$$

代表的なソフトウェアテスト3種:

• 単体テスト
• 結合テスト
• E2Eテスト

$$

$$

MLソフトは性質が異なる

MLアプリは明示的にプログラムされない

$$

依存するもの:

• データ
• モデル

MLOpsでのテストは異なる

¹ https://research.google/pubs/pub46555/

MLシステムのテスト

$$

従来のテストに加えて:

• データテスト
• モデルテスト
• パイプラインテスト

データのテスト

特徴量・データのテスト:

• 特徴量の期待値
• データ特徴量の価値がコストに見合う
• プライバシー管理
• 違法データの不使用

$$

モデルのテスト

モデルのテスト:

• ビジネス指標とML指標の相関

• すべてのハイパーパラメータを調整済み

• 過学習

• モデルの陳腐化
• ベースライン比較

MLパイプラインのテスト

MLパイプラインのテスト:

• 学習の再現性

• パイプラインの結合テスト

• モデルのデバッグ容易性

Ayo berlatih!

完全自動化MLOps