Gán vai trò trong hội thoại

Làm việc với Llama 3

Imtihan Ahmed

Machine Learning Engineer

Định nghĩa vai trò

Tinh chỉnh giọng điệu mô hình
Ví dụ: chatbot hỗ trợ khách hàng

Cuộc trò chuyện với chatbot - 1

Định nghĩa vai trò

Tinh chỉnh giọng điệu mô hình
Ví dụ: chatbot hỗ trợ khách hàng

Cuộc trò chuyện với chatbot - 2

Định nghĩa vai trò

Tinh chỉnh giọng điệu mô hình
Ví dụ: chatbot hỗ trợ khách hàng

Cuộc trò chuyện với chatbot - 3

Dùng vai trò trong chat completion

Vai trò chat để định hướng phản hồi của Llama

Screenshot 2025-02-26 at 15.32.28.png

Thiết lập tính cách và phong cách

Screenshot 2025-02-26 at 15.31.50.png

Đại diện người đặt câu hỏi

Dùng vai trò trong chat completion

Gửi cuộc hội thoại có cấu trúc
Hàm create_chat_completion()

from llama_cpp import Llama

llm = Llama(model_path="path/to/model.gguf")


message_list = [...] # Danh sách này bao gồm vai trò


response = llm.create_chat_completion(

        messages = message_list

)

Vai trò system

Tin nhắn System: hướng dẫn cách mô hình nên hành xử

system_message = "You are a business consultant who gives data-driven answers."



message_list = [{

                 "role": "system",

                 "content": system_message

                 }]

Vai trò user

Tin nhắn User: prompt gửi cho mô hình

system_message = "You are a business consultant who gives data-driven answers."

user_message = "What are the key factors in a successful marketing strategy?"


message_list = [{"role": "system", "content": system_message},

                {
                 "role": "user",
                 "content": user_message
                 }

                ]

Tạo phản hồi

from llama_cpp import Llama
llm = Llama(model_path="path/to/model.gguf")

system_message = "You are a business consultant who gives data-driven answers."
user_message = "What are the key factors in a successful marketing strategy?"

message_list = [{"role": "system", "content": system_message},
               {"role": "user", "content": user_message}]


response = llm.create_chat_completion(messages = message_list)
print(response)

{'id': ..., 'object': ..., 'created': ..., 'model': ..., 'choices': [...], ...}

Vai trò assistant

response["choices"][0]

Đầu ra phản hồi

Vai trò assistant

response["choices"][0]

Đầu ra phản hồi với phần tin nhắn được tô sáng

Vai trò assistant

response["choices"][0]

Đầu ra phản hồi với vai trò được tô sáng

Vai trò assistant

response["choices"][0]

Đầu ra phản hồi với nội dung được tô sáng

result['choices'][0]['message']['content']

'A successful marketing strategy relies on clear objectives, established 
through specific, measurable goals. Understanding the target audience ...'

Vamos praticar!

Làm việc với Llama 3