Tvorba API

MLOps: nasazení a životní cyklus modelů

Nemanja Radojkovic

Senior Machine Learning Engineer

API – nejvyšší úroveň

MLOps: nasazení a životní cyklus modelů

Definice API

MLOps: nasazení a životní cyklus modelů

Server

MLOps: nasazení a životní cyklus modelů

Klient

MLOps: nasazení a životní cyklus modelů

Služby pro klienta

Spouštění procedur na našem serveru

Příklad: API pro analýzu sentimentu – Amazon Comprehend

Logo Amazon Comprehend

Přístup ke vzdáleným databázím

Příklad: Twitter API, New York Times API

Logo Twitter API

MLOps: nasazení a životní cyklus modelů

Architektury API

 

  1. REST: REpresentational State Transfer
  2. RPC: Remote Procedure Call
  3. SOAP: Simple Object Access Protocol

 

V tomto kurzu: Pohled nezávislý na architektuře

MLOps: nasazení a životní cyklus modelů

Příklad: Navigační aplikace

Navigační aplikace

 

 

 

Účel API: Umožnit klientským aplikacím výpočet odhadované doby příjezdu

1 Image: Pixabay, https://www.stockvault.net/user/profile/161904
MLOps: nasazení a životní cyklus modelů

Nejjednodušší API

MLOps: nasazení a životní cyklus modelů

Nejjednodušší API 2

MLOps: nasazení a životní cyklus modelů

Spuštění modelu

MLOps: nasazení a životní cyklus modelů

Odpověď modelu

MLOps: nasazení a životní cyklus modelů

Chyba serveru

MLOps: nasazení a životní cyklus modelů

MLOps: nasazení a životní cyklus modelů

MLOps: nasazení a životní cyklus modelů

Validace vstupu

MLOps: nasazení a životní cyklus modelů

Validace vstupu – očekávání

MLOps: nasazení a životní cyklus modelů

Validace vstupu 3

MLOps: nasazení a životní cyklus modelů

Informativní zpráva při validaci vstupu

MLOps: nasazení a životní cyklus modelů

Model požadavku

MLOps: nasazení a životní cyklus modelů

Validace výstupu

MLOps: nasazení a životní cyklus modelů

Chyba v kódu

MLOps: nasazení a životní cyklus modelů

Pád klienta

MLOps: nasazení a životní cyklus modelů

Model odpovědi

MLOps: nasazení a životní cyklus modelů

Validace výstupu – informativní chybová zpráva

MLOps: nasazení a životní cyklus modelů

Definovaná očekávání

MLOps: nasazení a životní cyklus modelů

Autentizace a throttling

MLOps: nasazení a životní cyklus modelů

Autentizace

MLOps: nasazení a životní cyklus modelů

Throttling

MLOps: nasazení a životní cyklus modelů

FastAPI

  • open-source API framework pro Python
  • všechny základní funkce ihned k dispozici
  • rychlé vytvoření a nasazení REST API
1 https://fastapi.tiangolo.com
MLOps: nasazení a životní cyklus modelů

Pojďme si procvičit!

MLOps: nasazení a životní cyklus modelů

Preparing Video For Download...