建置 API

MLOps 部署與生命週期

Nemanja Radojkovic

Senior Machine Learning Engineer

最高層級的 API

MLOps 部署與生命週期

API 定義

MLOps 部署與生命週期

伺服器

MLOps 部署與生命週期

用戶端

MLOps 部署與生命週期

提供用戶端的服務

在我們的伺服器上執行程序

範例:Amazon Comprehend 的情感分析 API

Amazon Comprehend 標誌

存取遠端資料庫

範例:Twitter API、New York Times API

Twitter API 標誌

MLOps 部署與生命週期

API 架構

 

  1. RESTREpresentational State Transfer
  2. RPCRemote Procedure Call
  3. SOAPSimple Object Access Protocol

 

本課程採用:與架構無關的觀點

MLOps 部署與生命週期

範例:導航應用

導航應用

 

 

 

API 目的:讓用戶端應用計算預估到達時間(ETA)

1 Image: Pixabay, https://www.stockvault.net/user/profile/161904
MLOps 部署與生命週期

最簡 API

MLOps 部署與生命週期

最簡 API 2

MLOps 部署與生命週期

模型執行

MLOps 部署與生命週期

模型回應

MLOps 部署與生命週期

伺服器錯誤

MLOps 部署與生命週期

MLOps 部署與生命週期

MLOps 部署與生命週期

輸入驗證

MLOps 部署與生命週期

輸入驗證——期望

MLOps 部署與生命週期

輸入驗證 3

MLOps 部署與生命週期

輸入驗證——資訊性訊息

MLOps 部署與生命週期

請求模型

MLOps 部署與生命週期

輸出驗證

MLOps 部署與生命週期

程式碼中的臭蟲

MLOps 部署與生命週期

用戶端當機

MLOps 部署與生命週期

回應模型

MLOps 部署與生命週期

輸出驗證——具資訊的錯誤訊息

MLOps 部署與生命週期

已定義期望

MLOps 部署與生命週期

驗證與節流

MLOps 部署與生命週期

驗證

MLOps 部署與生命週期

節流

MLOps 部署與生命週期

FastAPI

  • 用於 Python 的開源 API 框架
  • 內建所有關鍵功能
  • 快速打造並上線 REST API
1 https://fastapi.tiangolo.com
MLOps 部署與生命週期

一起來練習吧!

MLOps 部署與生命週期

Preparing Video For Download...