服务模式

MLOps 部署与生命周期管理

Nemanja Radojkovic

Senior Machine Learning Engineer

Serving 与服务模式

• 提供预测服务 == 模型服务
• 某种服务实现方式 == 服务模式

 

请谨慎选择！

批量预测：尽量简单

• 批量预测最简单
• 如用例允许，优先采用
• 适用：每月生成销售预测

可接受的延迟

可接受的范围？

• < 1 小时？
• < 1 分钟？
• < 1 秒？
• < 1 毫秒？

近实时预测（流式处理）

可接受延迟 ~= X 分钟

亦称为流式处理（请求与响应形成"数据流"）

实时预测

可接受延迟 < 1 秒

示例：

• 信用卡欺诈检测
• 预测延迟即几乎无用

当延迟优先时

• 弱但更快的模型比强但更慢的模型更有价值
• 将模型部署到终端设备以降低延迟 => "边缘部署"
  • 融合 ML 的手机应用：
    • 导航应用
    • 人脸识别解锁
    • 图像滤镜

Vamos praticar!

MLOps 部署与生命周期管理