Začlenění externího kontextu

Prompt Engineering s OpenAI API

Fouad Trad

Machine Learning Engineer

Potřeba externího kontextu

Předtrénované jazykové modely znají informace, na nichž byly trénovány
Je nutné poskytnout další kontext
Vyšší přesnost a efektivita

Ikona znázorňující chatbota na mobilním telefonu.

Nedostatek informací v LLM

Hranice znalostí modelu

system_prompt = "Act as a financial expert that knows about the latest trends."

user_prompt = "What are the top financial trends in 2023?"

print(get_response(system_prompt, user_prompt))

I apologize for any inconvenience, but as of my last knowledge update in 
September 2021, I don't have information about financial trends in 2023.

Nedostatek informací v LLM

Požadavek na neveřejné informace

system_prompt = "Act as a study buddy that helps me with my studies to succeed 
in exams."


user_prompt = "What is the name of my favorite instructor?"

print(get_response(system_prompt, user_prompt))

I don't have personal information about you, including the name of your 
favorite instructor.

Jak poskytnout další informace?

Ukázky předchozích konverzací
Systémový prompt

Ikona zobrazující dvě dialogová okna zpráv symbolizující konverzaci.

Ukázkové konverzace

Navádí model k odpovědím na konkrétní otázky

response = client.chat.completions.create(
  model="gpt-4o-mini",
  messages=[{"role": "system",
             "content": "You are a customer service chatbot that responds to user queries in a gentle way"},

            {"role": "user",
             "content": "What services do you offer?"},

           {"role": "assistant",
             "content": "We provide services for web application development, mobile app development, and 
            custom software solutions."},

           {"role": "user",
             "content": "How many services do you have?"}])

print(response.choices[0].message.content)

We have 3 services including web application development, mobile app development, and custom software solutions.

Nevýhoda: může vyžadovat velké množství ukázek

Systémový prompt

Zahrnuje potřebný kontext pro odpovědi chatbota

services = "ABC Tech Solutions, a leading IT company, offers a range of services: 
application development, mobile app development, and custom software solutions."

system_prompt = f"""You are a customer service chatbot that responds to user 
queries in a gentle way. Some information about our services are delimited by 
triple backticks.
```{services}```"""

user_prompt = "How many services do you offer?"
print(get_response(system_prompt, user_prompt))

We have 3 services including web application development, mobile app development, 
and custom software solutions.

Závěrečná poznámka

Předchozí metody fungují dobře pro malé kontexty
Větší kontexty vyžadují pokročilejší techniky

Ikona znázorňující upozornění.

Pojďme procvičovat!

Prompt Engineering s OpenAI API