Мониторинг и логирование

Развёртывание ИИ в производственной среде с помощью FastAPI

Matt Eckerle

Software and Data Engineering Leader

Зачем нужны мониторинг и логирование?

В продакшене отлаживаться невозможно
Супервизору приложения нужна простая проверка работоспособности
Логирование ключевых метрик с течением времени

Программы для мониторинга и логирования

Настройка пользовательского логирования

Загрузить логгер ошибок uvicorn

Добавить пользовательские логи при запуске приложения

Добавить пользовательские логи к эндпоинтам

from fastapi import FastAPI
import logging

logger = logging.getLogger(
    'uvicorn.error'
)

app = FastAPI()
logger.info("App is running!")


@app.get('/')
async def main():
    logger.debug('GET /')
    return 'ok'

Логирование загрузки модели

from fastapi import FastAPI
import logging
import joblib 

logger = logging.getLogger('uvicorn.error')


model = joblib.load('penguin_classifier.pkl')
logger.info("Penguin classifier loaded successfully.")

app = FastAPI()

Логирование времени обработки с помощью middleware

from fastapi import FastAPI, Request
import logging
import time
logger = logging.getLogger('uvicorn.error')
app = FastAPI()

@app.middleware("http")
async def log_process_time(request: Request, call_next):
    start_time = time.perf_counter()
    response = await call_next(request)
    process_time = time.perf_counter() - start_time
    logger.info(f"Process time was {process_time} seconds.")
    return response

¹ https://fastapi.tiangolo.com/tutorial/middleware/

Настройка уровня логирования

Уровни логирования Python

uvicorn main:app --log-level debug

Мониторинг

from fastapi import FastAPI

app = FastAPI()

@app.get("/health")
async def get_health():
    return {"status": "OK"}

«Всё в порядке!»

Передача параметров модели через мониторинг

from fastapi import FastAPI
import joblib

model = joblib.load(
    'penguin_classifier.pkl'
)
app = FastAPI()

@app.get("/health")
async def get_health():
    params = model.get_params()
    return {"status": "OK",
            "params": params}

«Всё в порядке!»
«А вот несколько интересных фактов обо мне!»

Давайте потренируемся!

Развёртывание ИИ в производственной среде с помощью FastAPI