채팅 역할 지정

Llama 3 다루기

Imtihan Ahmed

Machine Learning Engineer

역할 정의

  • 모델 톤 다듬기
  • 예: 고객 지원 챗봇

챗봇과의 대화 - 1

Llama 3 다루기

역할 정의

  • 모델 톤 다듬기
  • 예: 고객 지원 챗봇

챗봇과의 대화 - 2

Llama 3 다루기

역할 정의

  • 모델 톤 다듬기
  • 예: 고객 지원 챗봇

챗봇과의 대화 - 3

Llama 3 다루기

채팅 완료에서 역할 사용

  • Llama 응답을 이끄는 채팅 역할

Screenshot 2025-02-26 at 15.32.28.png

  • 성격과 스타일 설정

 

Screenshot 2025-02-26 at 15.31.50.png

  • 질문하는 사람을 나타냄
Llama 3 다루기

채팅 완료에서 역할 사용

  • 구조화된 대화 보내기

  • create_chat_completion() 함수

from llama_cpp import Llama

llm = Llama(model_path="path/to/model.gguf")


message_list = [...] # This list includes roles


response = llm.create_chat_completion(

        messages = message_list

)
Llama 3 다루기

system 역할

  • system 메시지: 모델의 동작 지침
system_message = "You are a business consultant who gives data-driven answers."



message_list = [{

                 "role": "system",

                 "content": system_message

                 }]
Llama 3 다루기

user 역할

  • user 메시지: 모델에 묻는 프롬프트
system_message = "You are a business consultant who gives data-driven answers."

user_message = "What are the key factors in a successful marketing strategy?"


message_list = [{"role": "system", "content": system_message},

                {
                 "role": "user",
                 "content": user_message
                 }

                ]
Llama 3 다루기

응답 생성

from llama_cpp import Llama
llm = Llama(model_path="path/to/model.gguf")

system_message = "You are a business consultant who gives data-driven answers."
user_message = "What are the key factors in a successful marketing strategy?"

message_list = [{"role": "system", "content": system_message},
               {"role": "user", "content": user_message}]


response = llm.create_chat_completion(messages = message_list)
print(response)

{'id': ..., 'object': ..., 'created': ..., 'model': ..., 'choices': [...], ...}
Llama 3 다루기

assistant 역할

response["choices"][0]

응답 출력

Llama 3 다루기

assistant 역할

response["choices"][0]

메시지 하이라이트된 응답 출력

Llama 3 다루기

assistant 역할

response["choices"][0]

role 하이라이트된 응답 출력

Llama 3 다루기

assistant 역할

response["choices"][0]

content 하이라이트된 응답 출력

result['choices'][0]['message']['content']

'A successful marketing strategy relies on clear objectives, established 
through specific, measurable goals. Understanding the target audience ...'
Llama 3 다루기

연습해 봅시다!

Llama 3 다루기

Preparing Video For Download...