Intégration du contexte externe

Ingénierie des prompts avec l'API OpenAI

Fouad Trad

Machine Learning Engineer

La nécessité d'un contexte externe

  • Les modèles linguistiques pré-entraînés identifient les informations sur lesquelles ils ont été formés
  • Il est nécessaire de fournir davantage de contexte
  • Plus de précision et d'efficacité

Icon representing a chatbot on a mobile phone.

Ingénierie des prompts avec l'API OpenAI

Manque d'informations dans les LLM

  • Limite de connaissances
system_prompt = "Act as a financial expert that knows about the latest trends."

user_prompt = "What are the top financial trends in 2023?"

print(get_response(system_prompt, user_prompt))

I apologize for any inconvenience, but as of my last knowledge update in 
September 2021, I don't have information about financial trends in 2023.
Ingénierie des prompts avec l'API OpenAI

Manque d'informations dans les LLM

  • Informations non publiques demandées
system_prompt = "Act as a study buddy that helps me with my studies to succeed 
in exams."


user_prompt = "What is the name of my favorite instructor?"

print(get_response(system_prompt, user_prompt))

I don't have personal information about you, including the name of your 
favorite instructor.
Ingénierie des prompts avec l'API OpenAI

Comment fournir des informations supplémentaires ?

  • Exemples de conversations précédentes
  • Prompt du système

Icon showing two message dialog boxes to reflect a conversational aspect.

Ingénierie des prompts avec l'API OpenAI

Échantillon de conversations

  • Guider le modèle pour répondre à des questions spécifiques
response = client.chat.completions.create(
  model="gpt-3.5-turbo",
  messages=[{"role": "system",
             "content": "You are a customer service chatbot that responds to user queries in a gentle way"},

            {"role": "user",
             "content": "What services do you offer?"},

           {"role": "assistant",
             "content": "We provide services for web application development, mobile app development, and 
            custom software solutions."},

           {"role": "user",
             "content": "How many services do you have?"}])

print(response.choices[0].message.content)

We have 3 services including web application development, mobile app development, and custom software solutions.
  • Inconvénient : peut nécessiter un nombre important d'échantillons
Ingénierie des prompts avec l'API OpenAI

Prompt système

  • Comprend le contexte nécessaire aux réponses du chatbot
services = "ABC Tech Solutions, a leading IT company, offers a range of services: 
application development, mobile app development, and custom software solutions."

system_prompt = f"""You are a customer service chatbot that responds to user 
queries in a gentle way. Some information about our services are delimited by 
triple backticks.
```{services}```"""

user_prompt = "How many services do you offer?"
print(get_response(system_prompt, user_prompt))

We have 3 services including web application development, mobile app development, 
and custom software solutions.
Ingénierie des prompts avec l'API OpenAI

Remarque finale

  • Les méthodes précédentes sont efficaces dans des contextes restreints
  • Les contextes plus vastes nécessitent des techniques plus sophistiquées

Icon representing an alert.

Ingénierie des prompts avec l'API OpenAI

Passons à la pratique !

Ingénierie des prompts avec l'API OpenAI

Preparing Video For Download...