Chúc mừng!
Làm việc với Llama 3
Imtihan Ahmed
Machine Learning Engineer
Ôn lại
from llama_cpp import Llama
llm = Llama(model_path = "path/to/model.gguf")
Ôn lại
$$
- Tham số
temperature,top_k,top_p
Ôn lại
message_list = [{"role": "system", "content": system_message},
{"role": "user", "content": user_message}]
Ôn lại
- Prompt chính xác
- Từ dừng
stop - Zero-shot/Few-shot prompting
Ôn lại
$$
response_format = {"type": "json_object"}
Ôn lại
- Lớp
Conversation - Phương thức
.create_completion()
