Вітаємо!
Робота з Llama 3
Imtihan Ahmed
Machine Learning Engineer
Згадаємо
from llama_cpp import Llama
llm = Llama(model_path = "path/to/model.gguf")
Згадаємо
$$
- параметри
temperature,top_k,top_p
Згадаємо
message_list = [{"role": "system", "content": system_message},
{"role": "user", "content": user_message}]
Згадаємо
- Точні підказки
stop-слова- Zero-shot/Few-shot підказки
Згадаємо
$$
response_format = {"type": "json_object"}
Згадаємо
- клас
Conversation - метод
.create_completion()
