Использование внешнего контекста

Разработка промптов с OpenAI API

Fouad Trad

Machine Learning Engineer

Зачем нужен внешний контекст

Предобученные языковые модели знают только то, на чём обучались
Необходимо предоставлять дополнительный контекст
Это повышает точность и эффективность

Иконка чат-бота на мобильном телефоне.

Нехватка информации в LLM

Ограничение по дате обучения

system_prompt = "Act as a financial expert that knows about the latest trends."

user_prompt = "What are the top financial trends in 2023?"

print(get_response(system_prompt, user_prompt))

I apologize for any inconvenience, but as of my last knowledge update in 
September 2021, I don't have information about financial trends in 2023.

Нехватка информации в LLM

Запрос непубличной информации

system_prompt = "Act as a study buddy that helps me with my studies to succeed 
in exams."


user_prompt = "What is the name of my favorite instructor?"

print(get_response(system_prompt, user_prompt))

I don't have personal information about you, including the name of your 
favorite instructor.

Как передать дополнительную информацию?

Примеры предыдущих диалогов
Системный промпт

Иконка с двумя диалоговыми пузырями, отражающая диалоговый формат.

Примеры диалогов

Направляет модель на ответы по конкретным вопросам

response = client.chat.completions.create(
  model="gpt-4o-mini",
  messages=[{"role": "system",
             "content": "You are a customer service chatbot that responds to user queries in a gentle way"},

            {"role": "user",
             "content": "What services do you offer?"},

           {"role": "assistant",
             "content": "We provide services for web application development, mobile app development, and 
            custom software solutions."},

           {"role": "user",
             "content": "How many services do you have?"}])

print(response.choices[0].message.content)

We have 3 services including web application development, mobile app development, and custom software solutions.

Недостаток: может потребоваться много примеров

Системный промпт

Включает необходимый контекст для ответов чат-бота

services = "ABC Tech Solutions, a leading IT company, offers a range of services: 
application development, mobile app development, and custom software solutions."

system_prompt = f"""You are a customer service chatbot that responds to user 
queries in a gentle way. Some information about our services are delimited by 
triple backticks.
```{services}```"""

user_prompt = "How many services do you offer?"
print(get_response(system_prompt, user_prompt))

We have 3 services including web application development, mobile app development, 
and custom software solutions.

Важное замечание

Предыдущие методы хорошо работают для небольших контекстов
Для больших контекстов нужны более сложные подходы

Иконка предупреждения.

Давайте потренируемся!

Разработка промптов с OpenAI API