在 Databricks 中使用 MLFlow 訓練模型

Databricks 概念

Kevin Barlow

Data Practitioner

機器學習生命週期

機器學習生命週期

1 https://www.datacamp.com/blog/machine-learning-lifecycle-explained
Databricks 概念

模型訓練與開發

機器學習生命週期－建模

Databricks 概念

單節點 vs. 多節點

單節點機器學習

  • 適合試驗與起步
  • 初始設定較簡單
  • 佈署到生產較困難

scikit-learn 標誌

多節點機器學習

  • 適合生產工作負載
  • 長期維護更容易
  • 高度可擴充

Apache Spark 標誌

Databricks 概念

AutoML

  • 自動化機器學習的「玻璃盒」方法
  • 善用開源函式庫
  • 依據資料與目標預測建立模型
  • 提供含產生程式碼的 notebook，便於後續

AutoML 範例

1 https://www.databricks.com/product/automl
Databricks 概念

MLFlow

  • 開源框架
  • 端到端機器學習生命週期管理
  • 追蹤、評估、管理與部署
  • 已內建於 ML Runtime！

MLFlow 標誌

import mlflow

with mlflow.start_run() as run:
  # machine learning training

mlflow.autolog()

mlflow.log_metric('accuracy', acc)

mlflow.lot_param('k', kNum)
Databricks 概念

MLFlow 實驗

  • 將多次執行的資訊集中在單一位置
  • 排序並比較模型執行結果
  • 找出並升級最佳模型

MLFlow 實驗

Databricks 概念

一起來練習吧！

Databricks 概念

Preparing Video For Download...