Validazione Risposta Finale Agente

Agenti AI con Hugging Face smolagents

Adel Nehme

VP of AI Curriculum, DataCamp

Perché la Validazione è Importante

La risposta dell'agente non era utile
Esperienza cliente persa

Per evitarlo, smolagents ti permette di validare le risposte finali!

Validare le Risposte dell'Agente

def check_answer_length(final_answer, agent_memory):
    # Controlla se la risposta è abbastanza sostanziale
    if len(final_answer) < 200:
        raise Exception("La raccomandazione auto è troppo breve")
    return True

Se final_answer non rispetta la regola, solleva un'eccezione. Altrimenti, ritorna True.

Usare la Validazione dell'Uscita nel Tuo Agente

car_advisor = CodeAgent(
    tools=[WebSearchTool()],
    model=InferenceClientModel(),
    final_answer_checks=[check_answer_length],
    verbosity_level=0
)

Esegui la validazione check_answer_length prima di rispondere.
Riprova automaticamente in base al messaggio di eccezione definito nella funzione.

Meta-Valutazione: Usare l'AI per Validare l'AI

validation_prompt = """
Reasoning process: {}

Agent's final answer: {}

Does the final answer logically follow
from the reasoning and solve the user's 
question? 

Respond only TRUE or FALSE. 
No other text.
"""

Validare il Ragionamento con un Meta-Valutatore

def check_reasoning_accuracy(final_answer, agent_memory):
    evaluator_model = InferenceClientModel()
    reasoning_steps = agent_memory.get_succinct_steps()
    final_prompt = validation_prompt.format(reasoning_steps, final_answer)

    message = ChatMessage(role='user', content=final_prompt)
    evaluation = evaluator_model([message])

    if evaluation.content == "FALSE":
        raise Exception("Il processo di ragionamento dell'agente contiene errori logici")
    else:
        return True

Combinare Più Validazioni

car_advisor = CodeAgent(
    tools=[WebSearchTool()],
    model=InferenceClientModel(),
    final_answer_checks=[check_answer_length, check_reasoning_accuracy],
    verbosity_level=0
)

Più probabile individuare e correggere errori prima che l'utente li veda!

Progettare Sistemi Intelligenti

Ayo berlatih!

Agenti AI con Hugging Face smolagents