Validering av agentens slutsvar

AI-agenter med Hugging Face smolagents

Adel Nehme

VP of AI Curriculum, DataCamp

Varför validering är viktigt

Agentens svar var inte användbart
Kundupplevelsen gick förlorad

För att undvika det kan du validera slutsvar med smolagents!

Validera agentens svar

def check_answer_length(final_answer, agent_memory):
    # Check if the answer is substantial enough
    if len(final_answer) < 200:
        raise Exception("Car recommendation is too brief")
    return True

Om final_answer inte uppfyller regeln kastas ett undantag. Annars returneras True.

Använd utdatavalidering i din agent

car_advisor = CodeAgent(
    tools=[WebSearchTool()],
    model=InferenceClientModel(),
    final_answer_checks=[check_answer_length],
    verbosity_level=0
)

Kör valideringen check_answer_length innan svar ges.
Försöker automatiskt igen baserat på undantagsmeddelandet i funktionen.

Metautvärdering: använd AI för att validera AI

validation_prompt = """
Reasoning process: {}

Agent's final answer: {}

Does the final answer logically follow
from the reasoning and solve the user's 
question? 

Respond only TRUE or FALSE. 
No other text.
"""

Validera resonemang med en metautvärderare

def check_reasoning_accuracy(final_answer, agent_memory):
    evaluator_model = InferenceClientModel()
    reasoning_steps = agent_memory.get_succinct_steps()
    final_prompt = validation_prompt.format(reasoning_steps, final_answer)

    message = ChatMessage(role='user', content=final_prompt)
    evaluation = evaluator_model([message])

    if evaluation.content == "FALSE":
        raise Exception("The agent's reasoning process contains logical errors")
    else:
        return True

Kombinera flera valideringar

car_advisor = CodeAgent(
    tools=[WebSearchTool()],
    model=InferenceClientModel(),
    final_answer_checks=[check_answer_length, check_reasoning_accuracy],
    verbosity_level=0
)

Större chans att fånga och rätta fel innan användaren ser dem!

Utforma intelligenta system

Nu kör vi en övning!

AI-agenter med Hugging Face smolagents