Podpowiadanie łańcuchem myśli i samospójnością

Prompt Engineering z OpenAI API

Fouad Trad

Machine Learning Engineer

Podpowiadanie łańcuchem myśli

Wymaga od LLM podania kroków rozumowania przed udzieleniem odpowiedzi
Stosowane przy złożonych zadaniach rozumowania
Pomaga ograniczyć błędy modelu

Obraz pokazujący, jak prompt łańcucha myśli prosi model o rozwiązanie problemu krok po kroku, a wynik zawiera uzasadnienie każdego kroku.

Podpowiadanie łańcuchem myśli

Standardowe podpowiadanie do rozwiązania zadania rozumowania

prompt = """Q: You start with 15 books in your collection. At the bookstore, you 
purchase 8 new books. Then, you lend 3 to your friend and 2 to your cousin. Later, 
you visit another bookstore and buy 5 more books. How many books do you have now? 
A: The answer is"""

print(get_response(prompt))

25 books

Podpowiadanie łańcuchem myśli

Podpowiadanie łańcuchem myśli do rozwiązania zadania rozumowania

prompt = """Q: You start with 15 books in your collection. At the bookstore, you 
purchase 8 new books. Then, you lend 3 to your friend and 2 to your cousin. Later, 
you visit another bookstore and buy 5 more books. How many books do you have now? 
A: Let's think step by step""" 
print(get_response(prompt))

Step 1: Start with the number of books in your collection: 15 books
Step 2: Purchase 8 new books at the bookstore: 15 + 8 = 23 books
Step 3: Lend 3 books to your friend: 23 - 3 = 20 books
Step 4: Lend 2 books to your cousin: 20 - 2 = 18 books
Step 5: Visit another bookstore and buy 5 more books: 18 + 5 = 23 books
Therefore, you have 23 books now.

Podpowiadanie łańcuchem myśli z przykładami (few-shot)

example = """
Q: The odd numbers in this group add up to an even number:  9, 10, 13, 4, 2.
A: Adding all the odd numbers (9, 13) gives 22. The answer is True.
"""

question = """
Q: The odd numbers in this group add up to an even number: 15, 13, 82, 7. 
A:
"""

prompt = example + question
print(get_response(prompt))

Adding all the odd numbers (15, 13, 7) gives 35. The answer is False.

Łańcuch myśli a prompty wieloetapowe

Prompty wieloetapowe

Kroki są zawarte bezpośrednio w prompcie

Diagram pokazujący, że prompt wieloetapowy to prompt zawierający serię kolejnych kroków do wykonania przez model.

Łańcuch myśli a prompty wieloetapowe

Prompty wieloetapowe

Kroki są zawarte bezpośrednio w prompcie

Diagram pokazujący, że prompt wieloetapowy to prompt zawierający serię kolejnych kroków do wykonania przez model.

Prompty łańcucha myśli

Model samodzielnie generuje kroki pośrednie

Obraz pokazujący, że w promptach łańcucha myśli kroki są generowane przez model podczas tworzenia odpowiedzi.

Ograniczenia łańcucha myśli

Jeden błędny krok --> nieudany wynik
Wprowadzono prompty samospójności

Diagram prompta łańcucha myśli pokazujący, że jeden błędny krok rozumowania prowadzi do nieudanego wyniku.

Podpowiadanie samospójnością

Generuje wiele łańcuchów myśli, wielokrotnie odpytując model
Głosowanie większościowe wyznacza końcową odpowiedź

Obraz pokazujący, że prompt samospójności generuje wiele łańcuchów myśli, każdy z własnym wynikiem, a odpowiedź końcowa jest wybierana głosowaniem większościowym.

Podpowiadanie samospójnością

Można to osiągnąć przez wiele promptów lub jeden prompt generujący wiele odpowiedzi.

self_consistency_instruction = "Imagine three completely independent experts who 
reason differently are answering this question. The final answer is obtained by 
majority vote. The question is: "


problem_to_solve = "If there are 10 cars in the parking lot and 3 more cars arrive. 
Half the original number of cars leave. Then, half of the current number of cars 
arrive. How many cars are there in the parking?"


prompt = self_consistency_instruction + problem_to_solve

print(get_response(prompt))

Prompt samospójności

Expert 1: Let's go step by step [...] Therefore, the total number of cars in the 
parking lot is 8 + 4 = 12.

Expert 2: First, let's calculate [...] Therefore, the total number of cars in the 
parking lot is now 5 + 2 = 7 cars.

Expert 3: Initially, there are 10 cars [...] Thus, the final answer is 8 + 4 = 12 
cars in the parking lot.

Based on the majority vote, the final answer is that there are 12 cars in the 
parking lot.

Czas na ćwiczenia!

Prompt Engineering z OpenAI API