Attribuer des rôles au chat

Travailler avec Llama 3

Imtihan Ahmed

Machine Learning Engineer

Définir les rôles

  • Affiner le ton du modèle
  • Exemple : chatbot de support client

Conversation avec un chatbot - 1

Travailler avec Llama 3

Définir les rôles

  • Affiner le ton du modèle
  • Exemple : chatbot de support client

Conversation avec un chatbot - 2

Travailler avec Llama 3

Définir les rôles

  • Affiner le ton du modèle
  • Exemple : chatbot de support client

Conversation avec un chatbot - 3

Travailler avec Llama 3

Utiliser les rôles dans la complétion de chat

  • Rôles de chat pour guider les réponses de Llama

Capture d’écran 2025-02-26 à 15.32.28.png

  • Définit la personnalité et le style

 

Capture d’écran 2025-02-26 à 15.31.50.png

  • Représente la personne qui pose la question
Travailler avec Llama 3

Utiliser les rôles dans la complétion de chat

  • Envoyer une conversation structurée

  • Fonction create_chat_completion()

from llama_cpp import Llama

llm = Llama(model_path="path/to/model.gguf")


message_list = [...] # This list includes roles


response = llm.create_chat_completion(

        messages = message_list

)
Travailler avec Llama 3

Le rôle system

  • Message system : instructions sur le comportement du modèle
system_message = "You are a business consultant who gives data-driven answers."



message_list = [{

                 "role": "system",

                 "content": system_message

                 }]
Travailler avec Llama 3

Le rôle user

  • Message user : la requête posée au modèle
system_message = "You are a business consultant who gives data-driven answers."

user_message = "What are the key factors in a successful marketing strategy?"


message_list = [{"role": "system", "content": system_message},

                {
                 "role": "user",
                 "content": user_message
                 }

                ]
Travailler avec Llama 3

Générer la réponse

from llama_cpp import Llama
llm = Llama(model_path="path/to/model.gguf")

system_message = "You are a business consultant who gives data-driven answers."
user_message = "What are the key factors in a successful marketing strategy?"

message_list = [{"role": "system", "content": system_message},
               {"role": "user", "content": user_message}]


response = llm.create_chat_completion(messages = message_list)
print(response)

{'id': ..., 'object': ..., 'created': ..., 'model': ..., 'choices': [...], ...}
Travailler avec Llama 3

Le rôle assistant

response["choices"][0]

Sortie de la réponse

Travailler avec Llama 3

Le rôle assistant

response["choices"][0]

Sortie de la réponse avec message surligné

Travailler avec Llama 3

Le rôle assistant

response["choices"][0]

Sortie de la réponse avec rôle surligné

Travailler avec Llama 3

Le rôle assistant

response["choices"][0]

Sortie de la réponse avec contenu surligné

result['choices'][0]['message']['content']

'A successful marketing strategy relies on clear objectives, established 
through specific, measurable goals. Understanding the target audience ...'
Travailler avec Llama 3

Passons à la pratique !

Travailler avec Llama 3

Preparing Video For Download...