Ajans Nihai Cevap Doğrulama

Hugging Face smolagents ile AI Agent'ları

Adel Nehme

VP of AI Curriculum, DataCamp

Doğrulamanın Önemi

Ajansın cevabı yardımcı olmadı
Müşteri deneyimi kaybedildi

Bunu önlemek için, smolagents nihai cevapları doğrulamanıza olanak tanır!

Ajans Yanıtlarını Doğrulama

def check_answer_length(final_answer, agent_memory):
    # Cevabın yeterince kapsamlı olup olmadığını kontrol et
    if len(final_answer) < 200:
        raise Exception("Araba önerisi çok kısa")
    return True

final_answer kuralı geçemezse, bir istisna oluşturun. Aksi takdirde, True döndürün.

Ajansınızda Çıktı Doğrulama Kullanma

car_advisor = CodeAgent(
    tools=[WebSearchTool()],
    model=InferenceClientModel(),
    final_answer_checks=[check_answer_length],
    verbosity_level=0
)

Yanıt vermeden önce check_answer_length doğrulamasını çalıştırın.
Fonksiyonda tanımlanan istisna mesajına göre otomatik olarak yeniden deneyin.

Meta-Değerlendirme: AI ile AI Doğrulama

validation_prompt = """
Reasoning process: {}

Agent's final answer: {}

Does the final answer logically follow
from the reasoning and solve the user's 
question? 

Respond only TRUE or FALSE. 
No other text.
"""

Meta-Değerlendirici ile Akıl Yürütme Doğrulama

def check_reasoning_accuracy(final_answer, agent_memory):
    evaluator_model = InferenceClientModel()
    reasoning_steps = agent_memory.get_succinct_steps()
    final_prompt = validation_prompt.format(reasoning_steps, final_answer)

    message = ChatMessage(role='user', content=final_prompt)
    evaluation = evaluator_model([message])

    if evaluation.content == "FALSE":
        raise Exception("The agent's reasoning process contains logical errors")
    else:
        return True

Çoklu Doğrulamaları Birleştirme

car_advisor = CodeAgent(
    tools=[WebSearchTool()],
    model=InferenceClientModel(),
    final_answer_checks=[check_answer_length, check_reasoning_accuracy],
    verbosity_level=0
)

Kullanıcı görmeden önce hataları yakalama ve düzeltme olasılığı daha yüksek!

Akıllı Sistemler Tasarlama

Haydi pratik yapalım!

Hugging Face smolagents ile AI Agent'ları