Surveillance et journalisation

Déployer l'IA en production avec FastAPI

Matt Eckerle

Software and Data Engineering Leader

Pourquoi surveiller et journaliser ?

Impossible de déboguer en production
Le superviseur de l'appli veut un simple test d'intégrité
Consigner les indicateurs clés dans le temps

Logiciels de surveillance et de journalisation

Configurer une journalisation personnalisée

Charger le journal des erreurs d'uvicorn

Ajouter des journaux personnalisés au démarrage de l'appli

Ajouter des journaux personnalisés aux points de terminaison

from fastapi import FastAPI
import logging

logger = logging.getLogger(
    'uvicorn.error'
)

app = FastAPI()
logger.info("App is running!")


@app.get('/')
async def main():
    logger.debug('GET /')
    return 'ok'

Consigner le chargement d'un modèle

from fastapi import FastAPI
import logging
import joblib 

logger = logging.getLogger('uvicorn.error')


model = joblib.load('penguin_classifier.pkl')
logger.info("Penguin classifier loaded successfully.")

app = FastAPI()

Consigner le temps de traitement avec un intergiciel

from fastapi import FastAPI, Request
import logging
import time
logger = logging.getLogger('uvicorn.error')
app = FastAPI()

@app.middleware("http")
async def log_process_time(request: Request, call_next):
    start_time = time.perf_counter()
    response = await call_next(request)
    process_time = time.perf_counter() - start_time
    logger.info(f"Process time was {process_time} seconds.")
    return response

¹ https://fastapi.tiangolo.com/tutorial/middleware/

Définir le niveau de journalisation

Niveaux de journalisation Python

uvicorn main:app --log-level debug

Surveillance

from fastapi import FastAPI

app = FastAPI()

@app.get("/health")
async def get_health():
    return {"status": "OK"}

« Je vais bien ! »

Partager les paramètres du modèle avec la surveillance

from fastapi import FastAPI
import joblib

model = joblib.load(
    'penguin_classifier.pkl'
)
app = FastAPI()

@app.get("/health")
async def get_health():
    params = model.get_params()
    return {"status": "OK",
            "params": params}

« Je vais bien ! »
« Voici quelques faits intéressants à mon sujet ! »

Passons à la pratique !

Déployer l'IA en production avec FastAPI