Итеративный инжиниринг и уточнение промптов

Разработка промптов с OpenAI API

Fouad Trad

Machine Learning Engineer

Итеративный инжиниринг промптов

Ни один промпт не бывает идеальным с первого раза
Инжиниринг промптов — итеративный процесс:
- Составьте промпт
- Передайте его модели
- Проанализируйте результат
- Улучшите промпт и повторите

Изображение цикла: синий круг с четырьмя стрелками, замыкающимися в кольцо.

Уточнение промптов

Исходный промпт

prompt = "Generate an Excel sheet containing
five student names and their grades"

print(get_response(prompt))

I'm sorry, but as a text-based AI, I am 
unable to directly provide an Excel sheet. 
However, I can help you generate a sample
representation of the data you requested.

Уточнённый промпт

prompt = "Generate a table that I can copy 
to Excel, containing five student names and 
their grades"
print(get_response(prompt))

| Student Name | Grade |
|--------------|-------|
| Student 1    |  90   |
| Student 2    |  85   |
| Student 3    |  95   |
| Student 4    |  88   |
| Student 5    |  92   |

Пример: анализ функции Python

code = '''
def calculate_rectangle_area(length, width):
    area = length * width
    return area
'''

$Изображение прямоугольника и формулы для вычисления его площади по ширине и длине. Area = length\*width.$

Пример: исходный промпт

prompt = f"""
  Analyze the code delimited by triple backticks with one sentence
  ```{code}```.
"""
print(get_response(prompt))

The code calculates the area of a rectangle based on its length and width.

Пример: уточнение промпта

Изменяем промпт, чтобы получить язык программирования

prompt = f"""
  Analyze the code delimited by triple backticks and provide its programming 
  language with one sentence 
  ```{code}```.
"""
print(get_response(prompt))

The provided code is a function written in Python that calculates the area of a 
rectangle based on its length and width.

Пример: уточнение промпта

Изменяем промпт для получения структурированного вывода

prompt = f"""
  For the function delimited by triple backticks, provide in a structured format
  the following:
  - description: one sentence short description
  - language: the programming language used
  - input: the inputs to the function
  - output: the output returned by the function
  ```{code}```.
"""
print(get_response(prompt))

Пример: уточнение промпта

description: This function calculates the area of a rectangle.

language: Python

input:
 - length: The length of the rectangle.
 - width: The width of the rectangle.

output:
 - area: The calculated area of the rectangle, which is the product of the length 
 and width.

Уточнение few-shot промптов

Классификация описаний погоды

Исходный промпт

prompt = """
Clear skies and a gentle breeze. -> Sunny
Heavy rain and thunderstorms expected. -> Rainy
Fresh snowfall with freezing temperatures. -> 
"""
print(get_response(prompt))

Snowy

Уточнение few-shot промптов

Классификация описаний погоды

Исходный промпт

prompt = """
Clear skies and a gentle breeze. -> Sunny
Heavy rain and thunderstorms expected. -> Rainy
The wind of change brought a refreshing breeze to the company's operations. -> 
"""
print(get_response(prompt))

Windy

Уточнение few-shot промптов

Уточнённый промпт

prompt = """
Clear skies and a gentle breeze. -> Sunny
Heavy rain and thunderstorms expected. -> Rainy
The political climate in the country was stormy -> Unknown
The wind of change brought a refreshing breeze to the company's operations. -> 
"""
print(get_response(prompt))

Unknown

Уточнение промптов для разных типов

Few-shot промпты: уточняйте примеры
Многошаговые промпты: уточняйте направляющие шаги
Промпты «цепочка мыслей» и самосогласованность: уточняйте описание задачи

Изображение трёх рядов с переключателями: рука регулирует их, отражая процесс уточнения.

Давайте потренируемся!

Разработка промптов с OpenAI API