MLOps 自动化部署策略

Fully Automated MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

模型部署——预测服务

预测服务——模式回顾

预测可通过以下方式提供：

• 批处理

• 流处理

• 实时

• 边缘侧

预测服务——批处理

$$

• 大批量预测

$$

• 定期调度

$$

• 事件触发

$$

$$

$$

预测服务——流处理

$$

• 数据持续到达

$$

• 预测持续输出

$$

$$

预测服务——实时

$$

• 单条记录

$$

• 即时预测

$$

$$

预测服务——边缘侧

$$

• 移动设备

$$

• 物联网设备

$$

• 更低延迟

$$

部署策略

$$

ML 服务类型决定如何部署和更新预测服务

模型部署策略包括：

• 影子部署
• 金丝雀部署
• A/B 测试
• 蓝/绿部署

A/B 测试

A/B 测试

影子部署

蓝/绿部署

蓝/绿部署

蓝/绿部署

蓝/绿部署

部署与更新预测服务

$$

模型类型决定部署策略

让我们来练习！

Fully Automated MLOps