Walidacja ostatecznej odpowiedzi agenta

Agenty AI z Hugging Face smolagents

Adel Nehme

VP of AI Curriculum, DataCamp

Dlaczego walidacja jest ważna

Odpowiedź agenta była nieprzydatna
Doświadczenie klienta zostało utracone

Aby temu zapobiec, smolagents umożliwia walidację ostatecznych odpowiedzi!

Walidacja odpowiedzi agenta

def check_answer_length(final_answer, agent_memory):
    # Check if the answer is substantial enough
    if len(final_answer) < 200:
        raise Exception("Car recommendation is too brief")
    return True

Jeśli final_answer nie spełnia reguły, zgłoś wyjątek. W przeciwnym razie zwróć True.

Stosowanie walidacji wyników w agencie

car_advisor = CodeAgent(
    tools=[WebSearchTool()],
    model=InferenceClientModel(),
    final_answer_checks=[check_answer_length],
    verbosity_level=0
)

Uruchomienie walidacji check_answer_length przed udzieleniem odpowiedzi.
Automatyczne ponawianie na podstawie komunikatu wyjątku zdefiniowanego w funkcji.

Meta-ewaluacja: AI do walidacji AI

validation_prompt = """
Reasoning process: {}

Agent's final answer: {}

Does the final answer logically follow
from the reasoning and solve the user's 
question? 

Respond only TRUE or FALSE. 
No other text.
"""

Walidacja rozumowania za pomocą meta-ewaluatora

def check_reasoning_accuracy(final_answer, agent_memory):
    evaluator_model = InferenceClientModel()
    reasoning_steps = agent_memory.get_succinct_steps()
    final_prompt = validation_prompt.format(reasoning_steps, final_answer)

    message = ChatMessage(role='user', content=final_prompt)
    evaluation = evaluator_model([message])

    if evaluation.content == "FALSE":
        raise Exception("The agent's reasoning process contains logical errors")
    else:
        return True

Łączenie wielu walidacji

car_advisor = CodeAgent(
    tools=[WebSearchTool()],
    model=InferenceClientModel(),
    final_answer_checks=[check_answer_length, check_reasoning_accuracy],
    verbosity_level=0
)

Większe szanse na wykrycie i poprawę błędów, zanim zobaczy je użytkownik!

Projektowanie inteligentnych systemów

Czas na ćwiczenia!

Agenty AI z Hugging Face smolagents