Externe context toevoegen

Prompt Engineering met de OpenAI API

Fouad Trad

Machine Learning Engineer

De noodzaak van externe context

Voorgetrainde taalmodellen herkennen info waarop ze zijn getraind
Meer context toevoegen is nodig
Meer nauwkeurigheid en effectiviteit

Pictogram van een chatbot op een mobiele telefoon.

Gebrek aan informatie in LLM’s

Kennis-‘cut-off’

system_prompt = "Act as a financial expert that knows about the latest trends."

user_prompt = "What are the top financial trends in 2023?"

print(get_response(system_prompt, user_prompt))

I apologize for any inconvenience, but as of my last knowledge update in 
September 2021, I don't have information about financial trends in 2023.

Gebrek aan informatie in LLM’s

Niet-openbare info gevraagd

system_prompt = "Act as a study buddy that helps me with my studies to succeed 
in exams."


user_prompt = "What is the name of my favorite instructor?"

print(get_response(system_prompt, user_prompt))

I don't have personal information about you, including the name of your 
favorite instructor.

Hoe extra info geven?

Voorbeeld van eerdere gesprekken
Systeemprompt

Pictogram met twee berichtvensters voor een conversatie.

Voorbeeldgesprekken

Stuur het model naar specifieke antwoorden

response = client.chat.completions.create(
  model="gpt-3.5-turbo",
  messages=[{"role": "system",
             "content": "You are a customer service chatbot that responds to user queries in a gentle way"},

            {"role": "user",
             "content": "What services do you offer?"},

           {"role": "assistant",
             "content": "We provide services for web application development, mobile app development, and 
            custom software solutions."},

           {"role": "user",
             "content": "How many services do you have?"}])

print(response.choices[0].message.content)

We have 3 services including web application development, mobile app development, and custom software solutions.

Nadeel: mogelijk veel voorbeelden nodig

Systeemprompt

Bevat vereiste context voor chatbotantwoorden

services = "ABC Tech Solutions, a leading IT company, offers a range of services: 
application development, mobile app development, and custom software solutions."

system_prompt = f"""You are a customer service chatbot that responds to user 
queries in a gentle way. Some information about our services are delimited by 
triple backticks.
```{services}```"""

user_prompt = "How many services do you offer?"
print(get_response(system_prompt, user_prompt))

We have 3 services including web application development, mobile app development, 
and custom software solutions.

Laatste opmerking

Vorige methoden werken goed voor kleine contexten
Grotere contexten vragen geavanceerdere technieken

Pictogram dat een waarschuwing aangeeft.

Laten we oefenen!

Prompt Engineering met de OpenAI API