Supervision et journalisation

Déployer l’IA en production avec FastAPI

Matt Eckerle

Software and Data Engineering Leader

Pourquoi superviser et journaliser ?

Impossible de déboguer en production
Le superviseur d'app a besoin d'un simple contrôle d'état
Consigner les métriques clés dans le temps

Logiciels de supervision et de journalisation

Configurer des logs personnalisés

Charger le logger d'erreurs uvicorn

Ajouter des logs personnalisés au démarrage de l'app

Ajouter des logs personnalisés aux endpoints

from fastapi import FastAPI
import logging

logger = logging.getLogger(
    'uvicorn.error'
)

app = FastAPI()
logger.info("App is running!")


@app.get('/')
async def main():
    logger.debug('GET /')
    return 'ok'

Consigner le chargement d'un modèle

from fastapi import FastAPI
import logging
import joblib 

logger = logging.getLogger('uvicorn.error')


model = joblib.load('penguin_classifier.pkl')
logger.info("Penguin classifier loaded successfully.")

app = FastAPI()

Mesurer le temps de traitement avec un middleware

from fastapi import FastAPI, Request
import logging
import time
logger = logging.getLogger('uvicorn.error')
app = FastAPI()

@app.middleware("http")
async def log_process_time(request: Request, call_next):
    start_time = time.perf_counter()
    response = await call_next(request)
    process_time = time.perf_counter() - start_time
    logger.info(f"Process time was {process_time} seconds.")
    return response

¹ https://fastapi.tiangolo.com/tutorial/middleware/

Définir le niveau de logging

Niveaux de logging Python

uvicorn main:app --log-level debug

Supervision

from fastapi import FastAPI

app = FastAPI()

@app.get("/health")
async def get_health():
    return {"status": "OK"}

« Je vais bien ! »

Partager les hyperparamètres avec la supervision

from fastapi import FastAPI
import joblib

model = joblib.load(
    'penguin_classifier.pkl'
)
app = FastAPI()

@app.get("/health")
async def get_health():
    params = model.get_params()
    return {"status": "OK",
            "params": params}

« Je vais bien ! »
« Voici quelques infos sur moi ! »

Passons à la pratique !