Validation de la Réponse Finale de l'Agent

Agents IA avec Hugging Face smolagents

Adel Nehme

VP of AI Curriculum, DataCamp

Pourquoi la Validation est Importante

La réponse de l'agent n'était pas utile
L'expérience client a été perdue

Pour éviter cela, smolagents vous permet de valider les réponses finales !

Validation des Réponses de l'Agent

def check_answer_length(final_answer, agent_memory):
    # Check if the answer is substantial enough
    if len(final_answer) < 200:
        raise Exception("Car recommendation is too brief")
    return True

Si final_answer échoue à la règle, une exception est levée. Sinon, retourne True.

Utiliser la Validation de Sortie dans Votre Agent

car_advisor = CodeAgent(
    tools=[WebSearchTool()],
    model=InferenceClientModel(),
    final_answer_checks=[check_answer_length],
    verbosity_level=0
)

Exécutez la validation check_answer_length avant de répondre.
Réessayez automatiquement selon le message d'exception défini dans la fonction.

Méta-Évaluation : Utiliser l'IA pour Valider l'IA

validation_prompt = """
Reasoning process: {}

Agent's final answer: {}

Does the final answer logically follow
from the reasoning and solve the user's 
question? 

Respond only TRUE or FALSE. 
No other text.
"""

Validation du Raisonnement avec un Méta-Évaluateur

def check_reasoning_accuracy(final_answer, agent_memory):
    evaluator_model = InferenceClientModel()
    reasoning_steps = agent_memory.get_succinct_steps()
    final_prompt = validation_prompt.format(reasoning_steps, final_answer)

    message = ChatMessage(role='user', content=final_prompt)
    evaluation = evaluator_model([message])

    if evaluation.content == "FALSE":
        raise Exception("The agent's reasoning process contains logical errors")
    else:
        return True

Combiner Plusieurs Validations

car_advisor = CodeAgent(
    tools=[WebSearchTool()],
    model=InferenceClientModel(),
    final_answer_checks=[check_answer_length, check_reasoning_accuracy],
    verbosity_level=0
)

Plus de chances de détecter et corriger les erreurs avant que l'utilisateur ne les voie !

Concevoir des Systèmes Intelligents

Passons à la pratique !

Agents IA avec Hugging Face smolagents