Databricksでのモデルのデプロイ

Databricks の基本概念

Kevin Barlow

Data Practitioner

機械学習ライフサイクル

機械学習ライフサイクル

1 https://www.datacamp.com/blog/machine-learning-lifecycle-explained
Databricks の基本概念

モデルのデプロイと運用

機械学習ライフサイクル

Databricks の基本概念

モデルのデプロイにおける課題

可用性

  • エンドユーザーやアプリケーションはモデルをどのように利用しますか?
  • モデルへのアクセスのために、どこに配置する必要がありますか?
  • モデルは使いやすく理解しやすいですか?

MLモデルの利用

評価

  • ユーザーは実際にモデルを使用していますか?
  • モデルのパフォーマンスは維持されていますか?
  • モデルの再トレーニングが必要ですか?
  • より優れた新しいモデルが必要ですか?

MLモデルの評価

Databricks の基本概念

モデルデプロイプロセス

モデルデプロイプロセス

Databricks の基本概念

モデルフレーバー

  • MLFlow Modelsはあらゆる機械学習フレームワークのモデルを保存できます
  • モデルは各種設定やアーティファクトとともに保存されます
  • モデルは必要に応じて別の形式に「変換」できます。例:
    • scikit-learn
    • pyfunc
    • spark
    • tensorflow

MLFlow Modelsの図

Databricks の基本概念

モデルレジストリ

Databricksモデルレジストリ

Databricks の基本概念

モデルレジストリ

モデルレジストリ - 登録済みモデル

Databricks の基本概念

モデルレジストリ

モデルレジストリ - モデルバージョン

Databricks の基本概念

モデルレジストリ

モデルレジストリ - モデルステージング

Databricks の基本概念

モデルサービング

Databricksモデルサービング

Databricks の基本概念

モデルサービング

モデルサービング - クラスター

Databricks の基本概念

モデルサービング

モデルサービング - モデル選択

Databricks の基本概念

モデルサービング

モデルサービングのメトリクス

1 https://www.databricks.com/product/model-serving
Databricks の基本概念

練習しましょう!

Databricks の基本概念

Preparing Video For Download...