服務模式

MLOps 部署與生命週期

Nemanja Radojkovic

Senior Machine Learning Engineer

佈署與服務模式

• 提供預測服務 == 模型佈署
• 某種佈署方式的實作 == 服務模式

 

務必慎選！

批次預測：化繁為簡

• 批次預測最簡單
• 若情境允許，就用它
• 適用例：每月產生銷售預測

可接受的延遲

可接受的是？

• < 1 小時？
• < 1 分鐘？
• < 1 秒？
• < 1 毫秒？

近即時預測（又稱串流處理）

可接受延遲約為 X 分鐘

也稱為 串流處理（請求與回應形成「資料串流」）

即時預測

可接受延遲 < 1 秒

範例：

• 信用卡詐欺偵測
• 回應太慢幾乎等於無用

當延遲是首要考量

• 稍弱但更快的模型，往往比更強但更慢的更有價值
• 將模型部署到終端裝置以降低延遲 ⇒ 「邊緣部署」
  • 內建 ML 的手機 App：
    • 導航 App
    • 臉部辨識解鎖
    • 影像濾鏡

一起來練習吧！

MLOps 部署與生命週期