Validasi Jawaban Akhir Agen

Agen AI dengan Hugging Face smolagents

Adel Nehme

VP of AI Curriculum, DataCamp

Mengapa Validasi Penting

Jawaban agen tidak membantu
Pengalaman pelanggan hilang

Untuk menghindari ini, smolagents memungkinkan Anda memvalidasi jawaban akhir!

Memvalidasi Respons Agen

def check_answer_length(final_answer, agent_memory):
    # Periksa apakah jawaban cukup substansial
    if len(final_answer) < 200:
        raise Exception("Rekomendasi mobil terlalu singkat")
    return True

Jika final_answer gagal aturan, munculkan pengecualian. Jika tidak, kembalikan True.

Menggunakan Validasi Output dalam Agen Anda

car_advisor = CodeAgent(
    tools=[WebSearchTool()],
    model=InferenceClientModel(),
    final_answer_checks=[check_answer_length],
    verbosity_level=0
)

Jalankan validasi check_answer_length sebelum merespons.
Coba ulang otomatis berdasarkan pesan pengecualian yang ditentukan dalam fungsi.

Meta-Evaluasi: Menggunakan AI untuk Memvalidasi AI

validation_prompt = """
Reasoning process: {}

Agent's final answer: {}

Does the final answer logically follow
from the reasoning and solve the user's 
question? 

Respond only TRUE or FALSE. 
No other text.
"""

Memvalidasi Penalaran dengan Meta-Evaluator

def check_reasoning_accuracy(final_answer, agent_memory):
    evaluator_model = InferenceClientModel()
    reasoning_steps = agent_memory.get_succinct_steps()
    final_prompt = validation_prompt.format(reasoning_steps, final_answer)

    message = ChatMessage(role='user', content=final_prompt)
    evaluation = evaluator_model([message])

    if evaluation.content == "FALSE":
        raise Exception("Proses penalaran agen mengandung kesalahan logis")
    else:
        return True

Menggabungkan Berbagai Validasi

car_advisor = CodeAgent(
    tools=[WebSearchTool()],
    model=InferenceClientModel(),
    final_answer_checks=[check_answer_length, check_reasoning_accuracy],
    verbosity_level=0
)

Lebih mungkin menangkap dan memperbaiki kesalahan sebelum pengguna melihatnya!

Merancang Sistem Cerdas

Ayo berlatih!

Agen AI dengan Hugging Face smolagents