Przypisywanie ról w czacie

Praca z Llama 3

Imtihan Ahmed

Machine Learning Engineer

Definiowanie ról

  • Dostosowywanie tonu modelu
  • Przykład: chatbot obsługi klienta

Rozmowa z chatbotem – 1

Praca z Llama 3

Definiowanie ról

  • Dostosowywanie tonu modelu
  • Przykład: chatbot obsługi klienta

Rozmowa z chatbotem – 2

Praca z Llama 3

Definiowanie ról

  • Dostosowywanie tonu modelu
  • Przykład: chatbot obsługi klienta

Rozmowa z chatbotem – 3

Praca z Llama 3

Używanie ról w uzupełnianiu czatu

  • Role czatu do kierowania odpowiedziami Llamy

Screenshot 2025-02-26 at 15.32.28.png

  • Określa osobowość i styl

 

Screenshot 2025-02-26 at 15.31.50.png

  • Reprezentuje osobę zadającą pytanie
Praca z Llama 3

Używanie ról w uzupełnianiu czatu

  • Wysyłanie ustrukturyzowanej rozmowy

  • Funkcja create_chat_completion()

from llama_cpp import Llama

llm = Llama(model_path="path/to/model.gguf")


message_list = [...] # This list includes roles


response = llm.create_chat_completion(

        messages = message_list

)
Praca z Llama 3

Rola system

  • Wiadomość system: instrukcje dotyczące zachowania modelu
system_message = "You are a business consultant who gives data-driven answers."



message_list = [{

                 "role": "system",

                 "content": system_message

                 }]
Praca z Llama 3

Rola user

  • Wiadomość user: prompt przesyłany do modelu
system_message = "You are a business consultant who gives data-driven answers."

user_message = "What are the key factors in a successful marketing strategy?"


message_list = [{"role": "system", "content": system_message},

                {
                 "role": "user",
                 "content": user_message
                 }

                ]
Praca z Llama 3

Generowanie odpowiedzi

from llama_cpp import Llama
llm = Llama(model_path="path/to/model.gguf")

system_message = "You are a business consultant who gives data-driven answers."
user_message = "What are the key factors in a successful marketing strategy?"

message_list = [{"role": "system", "content": system_message},
               {"role": "user", "content": user_message}]


response = llm.create_chat_completion(messages = message_list)
print(response)

{'id': ..., 'object': ..., 'created': ..., 'model': ..., 'choices': [...], ...}
Praca z Llama 3

Rola assistant

response["choices"][0]

Wynik odpowiedzi

Praca z Llama 3

Rola assistant

response["choices"][0]

Wynik odpowiedzi z wyróżnionym polem message

Praca z Llama 3

Rola assistant

response["choices"][0]

Wynik odpowiedzi z wyróżnionym polem role

Praca z Llama 3

Rola assistant

response["choices"][0]

Wynik odpowiedzi z wyróżnionym polem content

result['choices'][0]['message']['content']

'A successful marketing strategy relies on clear objectives, established 
through specific, measurable goals. Understanding the target audience ...'
Praca z Llama 3

Czas na ćwiczenia!

Praca z Llama 3

Preparing Video For Download...