ยินดีด้วย!

การทำงานกับ Llama 3

Imtihan Ahmed

Machine Learning Engineer

ทบทวนสิ่งที่เรียนมา

ขั้นที่ 1 - รัน Llama ในเครื่อง

from llama_cpp import Llama

llm = Llama(model_path = "path/to/model.gguf")
การทำงานกับ Llama 3

ทบทวนสิ่งที่เรียนมา

ขั้นที่ 2 - ปรับพารามิเตอร์

$$

  • พารามิเตอร์ temperature, top_k, top_p
การทำงานกับ Llama 3

ทบทวนสิ่งที่เรียนมา

ขั้นที่ 3 - กำหนดบทบาท

message_list = [{"role": "system", "content": system_message},
               {"role": "user", "content": user_message}]
การทำงานกับ Llama 3

ทบทวนสิ่งที่เรียนมา

ขั้นที่ 4 - ควบคุมผลลัพธ์

  • Prompt ที่แม่นยำ
  • คำ stop
  • Zero-shot/Few-shot prompting
การทำงานกับ Llama 3

ทบทวนสิ่งที่เรียนมา

ขั้นที่ 5 - สำรวจการตอบกลับแบบ JSON $$

response_format = {"type": "json_object"}
การทำงานกับ Llama 3

ทบทวนสิ่งที่เรียนมา

ขั้นที่ 6 - สร้างการสนทนาแบบหลายรอบ

  • คลาส Conversation
  • เมธอด .create_completion()
การทำงานกับ Llama 3

ขั้นต่อไป?

การทำงานกับ Llama 3

ขอบคุณ!

การทำงานกับ Llama 3

Preparing Video For Download...