在 Databricks 中使用 MLFlow 进行模型训练

Databricks 概念

Kevin Barlow

Data Practitioner

机器学习生命周期

机器学习生命周期

1 https://www.datacamp.com/blog/machine-learning-lifecycle-explained
Databricks 概念

模型训练与开发

机器学习生命周期 - 建模

Databricks 概念

单节点 vs. 多节点

单节点机器学习

  • 适合试验与起步
  • 初始配置更简单
  • 难以用于生产

scikit-learn 标志

多节点机器学习

  • 适合生产工作负载
  • 长期维护更易
  • 高度可扩展

Apache Spark 标志

Databricks 概念

AutoML

  • 面向自动化机器学习的"玻璃盒"方法
  • 利用开源库
  • 基于数据与目标预测生成模型
  • 提供含生成代码的 notebook 以便后续使用

AutoML 示例

1 https://www.databricks.com/product/automl
Databricks 概念

MLFlow

  • 开源框架
  • 覆盖端到端的机器学习生命周期管理
  • 跟踪、评估、管理和部署
  • 已预装于 ML Runtime！

MLFlow 标志

import mlflow

with mlflow.start_run() as run:
  # machine learning training

mlflow.autolog()

mlflow.log_metric('accuracy', acc)

mlflow.lot_param('k', kNum)
Databricks 概念

MLFlow 实验

  • 在单一位置汇总多次运行的信息
  • 对模型运行进行排序与对比
  • 查找并提升最佳模型

MLFlow 实验

Databricks 概念

让我们来练习！

Databricks 概念

Preparing Video For Download...