Monitorizare și jurnalizare

Deployment AI în producție cu FastAPI

Matt Eckerle

Software and Data Engineering Leader

De ce monitorizare și jurnalizare?

Nu se poate depana în producție
Supervizorul aplicației are nevoie de o verificare simplă a stării
Jurnalizarea metricilor cheie în timp

Software de monitorizare și jurnalizare

Configurarea jurnalizării personalizate

Încărcarea jurnalizatorului de erori uvicorn

Adăugarea de jurnale personalizate la pornirea aplicației

Adăugarea de jurnale personalizate la endpoint-uri

from fastapi import FastAPI
import logging

logger = logging.getLogger(
    'uvicorn.error'
)

app = FastAPI()
logger.info("App is running!")


@app.get('/')
async def main():
    logger.debug('GET /')
    return 'ok'

Jurnalizarea încărcării unui model

from fastapi import FastAPI
import logging
import joblib 

logger = logging.getLogger('uvicorn.error')


model = joblib.load('penguin_classifier.pkl')
logger.info("Penguin classifier loaded successfully.")

app = FastAPI()

Jurnalizarea timpului de procesare cu middleware

from fastapi import FastAPI, Request
import logging
import time
logger = logging.getLogger('uvicorn.error')
app = FastAPI()

@app.middleware("http")
async def log_process_time(request: Request, call_next):
    start_time = time.perf_counter()
    response = await call_next(request)
    process_time = time.perf_counter() - start_time
    logger.info(f"Process time was {process_time} seconds.")
    return response

¹ https://fastapi.tiangolo.com/tutorial/middleware/

Setarea nivelului de jurnalizare

Niveluri de jurnalizare Python

uvicorn main:app --log-level debug

Monitorizare

from fastapi import FastAPI

app = FastAPI()

@app.get("/health")
async def get_health():
    return {"status": "OK"}

"Sunt funcțional!"

Partajarea parametrilor modelului prin monitorizare

from fastapi import FastAPI
import joblib

model = joblib.load(
    'penguin_classifier.pkl'
)
app = FastAPI()

@app.get("/health")
async def get_health():
    params = model.get_params()
    return {"status": "OK",
            "params": params}

"Sunt funcțional!"
"Iată câteva detalii despre mine!"

Să exersăm!

Deployment AI în producție cu FastAPI