Перевірка фінальної відповіді агента

AI-агенти з Hugging Face smolagents

Adel Nehme

VP of AI Curriculum, DataCamp

Чому перевірка важлива

Відповідь агента не була корисною
Досвід користувача втрачено

Щоб цього уникнути, smolagents дає змогу перевіряти фінальні відповіді!

Перевірка відповідей агента

def check_answer_length(final_answer, agent_memory):
    # Check if the answer is substantial enough
    if len(final_answer) < 200:
        raise Exception("Car recommendation is too brief")
    return True

Якщо final_answer не проходить правило, згенеруйте виняток. Інакше поверніть True.

Використання перевірки виходу в агенті

car_advisor = CodeAgent(
    tools=[WebSearchTool()],
    model=InferenceClientModel(),
    final_answer_checks=[check_answer_length],
    verbosity_level=0
)

Запустіть валідацію check_answer_length перед відповіддю.
Автоматично повторюйте спробу на основі повідомлення про виняток у функції.

Метаоцінювання: використовуємо ШІ для перевірки ШІ

validation_prompt = """
Reasoning process: {}

Agent's final answer: {}

Does the final answer logically follow
from the reasoning and solve the user's 
question? 

Respond only TRUE or FALSE. 
No other text.
"""

Перевірка міркувань метаоцінювачем

def check_reasoning_accuracy(final_answer, agent_memory):
    evaluator_model = InferenceClientModel()
    reasoning_steps = agent_memory.get_succinct_steps()
    final_prompt = validation_prompt.format(reasoning_steps, final_answer)

    message = ChatMessage(role='user', content=final_prompt)
    evaluation = evaluator_model([message])

    if evaluation.content == "FALSE":
        raise Exception("The agent's reasoning process contains logical errors")
    else:
        return True

Комбінування кількох перевірок

car_advisor = CodeAgent(
    tools=[WebSearchTool()],
    model=InferenceClientModel(),
    final_answer_checks=[check_answer_length, check_reasoning_accuracy],
    verbosity_level=0
)

Більше шансів виявити й виправити помилки до того, як їх побачить користувач!

Проєктування інтелектуальних систем

Давайте потренуємось!

AI-агенти з Hugging Face smolagents