Асинхронна обробка

Розгортання AI у продакшні з FastAPI

Matt Eckerle

Software and Data Engineering Leader

Що таке асинхронна обробка

Людина подає напій гостю за столиком

Дозволяє обробляти кілька запитів одночасно

Синхронні vs асинхронні запити

Діаграма, що показує різницю у часі обробки синхронних та асинхронних запитів

Як зробити синхронні кінцеві точки асинхронними

@app.post("/analyze")
def analyze_sync(comment: Comment):
    result = sentiment_model(comment.text)
    return {"sentiment": result}

import asyncio

@app.post("/analyze")
async def analyze_async(comment: Comment):
    result = await asyncio.to_thread(
        sentiment_model, comment.text
    )
    return {"sentiment": result}

Реалізація фонових завдань

from fastapi import BackgroundTasks
from typing import List

@app.post("/analyze_batch")
async def analyze_batch(
    comments: Comments,
    background_tasks: BackgroundTasks
):

    async def process_comments(texts: List[str]):
        for text in texts:
            result = await asyncio.to_thread(
              sentiment_model, text)
    background_tasks.add_task(process_comments, 
                              comments.texts)
    return {"message": "Processing started"}

BackgroundTasks керує чергою обробки коментарів

background_tasks виконує обробку після відповіді.

add_task планує process_comments асинхронно.

Додання обробки помилок

@app.post("/analyze_comment")
async def analyze_comment(comment: Comment):
    try:
        sentiment_model = SentimentAnalyzer()
        result = await asyncio.wait_for(
            sentiment_model(comment.text),
            timeout=5.0
        )
        return {"sentiment": result["label"]}

Додання обробки помилок

    except asyncio.TimeoutError:
        raise HTTPException(
            status_code=408,
            detail="Analysis timed out"
        )

    except Exception:
        raise HTTPException(
            status_code=500,
            detail="Analysis failed"
        )

Давайте потренуємось!

Розгортання AI у продакшні з FastAPI