自动化

面向生产环境的机器学习模型开发

Sinan Ozdemir

Data Scientist, Entrepreneur, and Author

ML 自动化简介

  • 自动化确保 ML 流水线可靠且高效
  • 降低人为错误风险
  • 精简开发与部署流程
  • 四大 MLOps 原则：
    • 持续集成（CI）
    • 持续交付（CD）
    • 持续训练（CT）
    • 持续监控（CM）
面向生产环境的机器学习模型开发

自动化的四项原则

持续集成（CI） 将代码变更定期合入共享仓库 编码

持续交付（CD） 自动构建、测试并部署代码变更 打包

持续训练（CT） 持续用新数据训练并更新模型

大脑

持续监控（CM） 持续监控模型性能与准确性 监控

面向生产环境的机器学习模型开发

持续集成与交付

持续集成（CI）

  • 确保代码始终可用
  • 降低人为错误风险
  • 提前发现问题

持续交付（CD）

  • 快速且一致地部署模型
  • 缩短模型上线时间
  • 降低人为错误风险

CI/CD 工具：Git、AWS CodePipeline、Jenkins、Travis CI

jenkins

面向生产环境的机器学习模型开发

持续训练与监控

持续训练（CT）

  • 确保模型准确且最新
  • 降低模型退化风险
  • 缩短重新训练时间

持续监控（CM）

  • 降低模型退化风险
  • 提升整体准确性
  • 获取一致、可靠的 ML 指标
  • 及早发现问题

监控

面向生产环境的机器学习模型开发

大规模 ML 自动化示例

  1. CI：将模型代码提交到 Git。

  2. CD：使用 Jenkins 等 CI/CD 工具构建并测试提交的代码。通过则部署。

    • 序列化模型。
    • 用 Docker 配置依赖。
    • 部署 Docker 镜像。

  3. CM：持续监控模型性能。

    • 监控为模型决策提供依据。
    • CM 工具包括 Prometheus 与 Grafana

  4. CT：用新数据训练模型。

  5. 编写新代码/更新模型……回到步骤 1

面向生产环境的机器学习模型开发

Passons à la pratique !

面向生产环境的机器学习模型开发

Preparing Video For Download...