MLOps 部署策略中的自動化

Fully Automated MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

模型部署－預測服務

預測服務－模式總覽

預測可透過下列模式提供：

• 批次

• 串流

• 即時

• 邊緣端

預測服務－批次提供

$$

• 大量預測

$$

• 依排程定期執行

$$

• 事件觸發

$$

$$

$$

預測服務－串流提供

$$

• 連續到達的資料

$$

• 連續輸出的預測

$$

$$

預測服務－即時

$$

• 單筆紀錄

$$

• 即時預測

$$

$$

預測服務－邊緣端

$$

• 行動裝置

$$

• IoT 裝置

$$

• 降低延遲

$$

部署策略

$$

ML 提供類型決定我們如何部署與更新預測服務

模型部署策略包含：

• 影子部署
• 金絲雀部署
• A/B 測試
• 藍綠部署

A/B 測試

A/B 測試

影子部署

藍綠部署

藍綠部署

藍綠部署

藍綠部署

部署與更新預測服務

$$

模型類型決定部署策略

一起來練習吧！

Fully Automated MLOps