Створення API

Розгортання та життєвий цикл MLOps

Nemanja Radojkovic

Senior Machine Learning Engineer

Найвищий рівень API

Розгортання та життєвий цикл MLOps

Визначення API

Розгортання та життєвий цикл MLOps

Сервер

Розгортання та життєвий цикл MLOps

Клієнт

Розгортання та життєвий цикл MLOps

Сервіс для клієнта

Запуск процедур на нашому сервері

Приклад: API аналізу тональності для Amazon Comprehend

Логотип Amazon Comprehend

Доступ до віддалених баз даних

Приклад: Twitter API, New York Times API

Логотип Twitter API

Розгортання та життєвий цикл MLOps

Архітектури API

 

  1. REST: REpresentational State Transfer
  2. RPC: Remote Procedure Call
  3. SOAP: Simple Object Access Protocol

 

У цьому курсі: архітектурно нейтральний підхід

Розгортання та життєвий цикл MLOps

Приклад: навігаційний застосунок

Навігаційний застосунок

 

 

 

Мета API: дати клієнтським застосункам змогу обчислювати розрахунковий час прибуття

1 Image: Pixabay, https://www.stockvault.net/user/profile/161904
Розгортання та життєвий цикл MLOps

Найпростіший API

Розгортання та життєвий цикл MLOps

Найпростіший API 2

Розгортання та життєвий цикл MLOps

Запуск моделі

Розгортання та життєвий цикл MLOps

Відповідь моделі

Розгортання та життєвий цикл MLOps

Помилка сервера

Розгортання та життєвий цикл MLOps

Розгортання та життєвий цикл MLOps

Розгортання та життєвий цикл MLOps

Валідація вхідних даних

Розгортання та життєвий цикл MLOps

Валідація вхідних даних — очікування

Розгортання та життєвий цикл MLOps

Валідація вхідних даних 3

Розгортання та життєвий цикл MLOps

Валідація вхідних — інформативне повідомлення

Розгортання та життєвий цикл MLOps

Модель запиту

Розгортання та життєвий цикл MLOps

Валідація вихідних даних

Розгортання та життєвий цикл MLOps

Баг у коді

Розгортання та життєвий цикл MLOps

Збій клієнта

Розгортання та життєвий цикл MLOps

Модель відповіді

Розгортання та життєвий цикл MLOps

Валідація вихідних — інформативне повідомлення про помилку

Розгортання та життєвий цикл MLOps

Очікування визначено

Розгортання та життєвий цикл MLOps

Автентифікація та лімітування

Розгортання та життєвий цикл MLOps

Автентифікація

Розгортання та життєвий цикл MLOps

Лімітування

Розгортання та життєвий цикл MLOps

FastAPI

  • open-source фреймворк API для Python
  • усі основні можливості «з коробки»
  • створюйте та запускайте REST API дуже швидко
1 https://fastapi.tiangolo.com
Розгортання та життєвий цикл MLOps

Давайте потренуємось!

Розгортання та життєвий цикл MLOps

Preparing Video For Download...