Agent Eindantwoord Validatie

AI-agents met Hugging Face smolagents

Adel Nehme

VP of AI Curriculum, DataCamp

Waarom Validatie Belangrijk Is

Antwoord van de agent was niet nuttig
Klantbeleving ging verloren

Om dit te voorkomen, laat smolagents je eindantwoorden valideren!

Agent Antwoorden Valideren

def check_answer_length(final_answer, agent_memory):
    # Controleer of het antwoord voldoende is
    if len(final_answer) < 200:
        raise Exception("Autorecommendatie is te kort")
    return True

Als final_answer faalt, geef een uitzondering. Anders, return True.

Uitvoer Validatie in je Agent Gebruiken

car_advisor = CodeAgent(
    tools=[WebSearchTool()],
    model=InferenceClientModel(),
    final_answer_checks=[check_answer_length],
    verbosity_level=0
)

Voer check_answer_length validatie uit voor het antwoorden.
Automatisch opnieuw proberen op basis van de foutmelding in de functie.

Meta-Evaluatie: AI Gebruiken om AI te Valideren

validation_prompt = """
Reasoning process: {}

Agent's final answer: {}

Volgt het eindantwoord logisch
uit de redenering en lost het de vraag van de gebruiker op? 
Antwoord alleen TRUE of FALSE. 

Geen andere tekst.
"""

Redenering Valideren met een Meta-Evaluator

def check_reasoning_accuracy(final_answer, agent_memory):
    evaluator_model = InferenceClientModel()
    reasoning_steps = agent_memory.get_succinct_steps()
    final_prompt = validation_prompt.format(reasoning_steps, final_answer)

    message = ChatMessage(role='user', content=final_prompt)
    evaluation = evaluator_model([message])

    if evaluation.content == "FALSE":
        raise Exception("Het redeneerproces van de agent bevat logische fouten")
    else:
        return True

Meerdere Validaties Combineren

car_advisor = CodeAgent(
    tools=[WebSearchTool()],
    model=InferenceClientModel(),
    final_answer_checks=[check_answer_length, check_reasoning_accuracy],
    verbosity_level=0
)

Meer kans om fouten te vangen en te corrigeren voordat de gebruiker ze ziet!

Intelligente Systemen Ontwerpen

Laten we oefenen!

AI-agents met Hugging Face smolagents