Моніторинг і логування

Розгортання AI у продакшні з FastAPI

Matt Eckerle

Software and Data Engineering Leader

Навіщо моніторинг і логування?

Не можна налагоджувати в продакшені
Супервізору застосунку потрібен простий health check
Логування ключових метрик з часом

ПЗ для моніторингу та логування

Налаштування власного логування

Завантажте логер помилок uvicorn

Додайте власні логи під час запуску застосунку

Додайте власні логи до ендпоінтів

from fastapi import FastAPI
import logging

logger = logging.getLogger(
    'uvicorn.error'
)

app = FastAPI()
logger.info("App is running!")


@app.get('/')
async def main():
    logger.debug('GET /')
    return 'ok'

Логування під час завантаження моделі

from fastapi import FastAPI
import logging
import joblib 

logger = logging.getLogger('uvicorn.error')


model = joblib.load('penguin_classifier.pkl')
logger.info("Penguin classifier loaded successfully.")

app = FastAPI()

Логування часу обробки через middleware

from fastapi import FastAPI, Request
import logging
import time
logger = logging.getLogger('uvicorn.error')
app = FastAPI()

@app.middleware("http")
async def log_process_time(request: Request, call_next):
    start_time = time.perf_counter()
    response = await call_next(request)
    process_time = time.perf_counter() - start_time
    logger.info(f"Process time was {process_time} seconds.")
    return response

¹ https://fastapi.tiangolo.com/tutorial/middleware/

Встановлення рівня логування

Рівні логування в Python

uvicorn main:app --log-level debug

Моніторинг

from fastapi import FastAPI

app = FastAPI()

@app.get("/health")
async def get_health():
    return {"status": "OK"}

«У мене все гаразд!»

Поширення параметрів моделі для моніторингу

from fastapi import FastAPI
import joblib

model = joblib.load(
    'penguin_classifier.pkl'
)
app = FastAPI()

@app.get("/health")
async def get_health():
    params = model.get_params()
    return {"status": "OK",
            "params": params}

«У мене все гаразд!»
«Ось кілька цікавих фактів про мене!»

Давайте потренуємось!

Розгортання AI у продакшні з FastAPI