DatabricksでのMLFlowによるモデル学習

Databricks の基本概念

Kevin Barlow

Data Practitioner

機械学習ライフサイクル

機械学習ライフサイクル

1 https://www.datacamp.com/blog/machine-learning-lifecycle-explained
Databricks の基本概念

モデル学習と開発

機械学習ライフサイクル - モデリング

Databricks の基本概念

シングルノード vs. マルチノード

シングルノードの機械学習

  • 検証や初期段階に最適
  • 初期セットアップが容易
  • 本番導入は難しい

scikit-learnのロゴ

マルチノードの機械学習

  • 本番ワークロードに最適
  • 長期運用が容易
  • 高いスケーラビリティ

Apache Sparkのロゴ

Databricks の基本概念

AutoML

  • 自動機械学習の「ガラス箱」アプローチ
  • オープンソースライブラリを活用
  • データと目的変数に基づきモデルを作成
  • 追補用に生成コード付きノートブックを提供

AutoMLの例

1 https://www.databricks.com/product/automl
Databricks の基本概念

MLFlow

  • オープンソースのフレームワーク
  • 機械学習ライフサイクルをエンドツーエンドで管理
  • 追跡・評価・管理・デプロイ
  • ML Runtimeにプリインストール済み！

MLFlowのロゴ

import mlflow

with mlflow.start_run() as run:
  # machine learning training

mlflow.autolog()

mlflow.log_metric('accuracy', acc)

mlflow.lot_param('k', kNum)
Databricks の基本概念

MLFlowの実験

  • 複数の実行を1か所で集約
  • 実行を並べ替え・比較
  • 最良モデルを特定して昇格

MLFlowの実験

Databricks の基本概念

練習してみましょう！

Databricks の基本概念

Preparing Video For Download...