Pemantauan dan pencatatan

Menerapkan AI ke Produksi dengan FastAPI

Matt Eckerle

Software and Data Engineering Leader

Mengapa pemantauan dan pencatatan?

Tidak bisa debug di produksi
Pengawas app butuh pemeriksaan kesehatan sederhana
Mencatat metrik kunci dari waktu ke waktu

Perangkat lunak pemantauan dan pencatatan

Menyiapkan pencatatan kustom

Muat logger error uvicorn

Tambahkan log kustom saat app mulai

Tambahkan log kustom ke endpoint

from fastapi import FastAPI
import logging

logger = logging.getLogger(
    'uvicorn.error'
)

app = FastAPI()
logger.info("App is running!")


@app.get('/')
async def main():
    logger.debug('GET /')
    return 'ok'

Mencatat saat model dimuat

from fastapi import FastAPI
import logging
import joblib 

logger = logging.getLogger('uvicorn.error')


model = joblib.load('penguin_classifier.pkl')
logger.info("Penguin classifier loaded successfully.")

app = FastAPI()

Mencatat waktu proses dengan middleware

from fastapi import FastAPI, Request
import logging
import time
logger = logging.getLogger('uvicorn.error')
app = FastAPI()

@app.middleware("http")
async def log_process_time(request: Request, call_next):
    start_time = time.perf_counter()
    response = await call_next(request)
    process_time = time.perf_counter() - start_time
    logger.info(f"Process time was {process_time} seconds.")
    return response

¹ https://fastapi.tiangolo.com/tutorial/middleware/

Menetapkan tingkat logging

Tingkat logging Python

uvicorn main:app --log-level debug

Pemantauan

from fastapi import FastAPI

app = FastAPI()

@app.get("/health")
async def get_health():
    return {"status": "OK"}

"Saya ok!"

Berbagi parameter model dengan pemantauan

from fastapi import FastAPI
import joblib

model = joblib.load(
    'penguin_classifier.pkl'
)
app = FastAPI()

@app.get("/health")
async def get_health():
    params = model.get_params()
    return {"status": "OK",
            "params": params}

"Saya ok!"
"Berikut beberapa fakta menarik tentang saya!"

Ayo berlatih!

Menerapkan AI ke Produksi dengan FastAPI