模型部署

端到端机器学习

Joshua Stapleton

Machine Learning Engineer

模型即服务

• 利益相关者/用户通过互联网访问模型

• 通过门户暴露模型

  • 用户提交查询/数据
  • 接收诊断/预测

• 关注点：

  • 偏远诊所/无网络
  • 高安全环境/敏感数据

端侧部署

一体化服务架构

• 边缘计算
• 适用于网络不稳定场景

端侧部署的优缺点

优点：

• 更低延迟
• 更高安全性
• 适用于偏远/离线区域

缺点：

• 资源受限
• 模型更新困难
• 监控受限

实施策略

• 剪枝
• 迁移学习
• 使用专用框架

Passons à la pratique !

端到端机器学习