Řízení nestrukturovaných odpovědí

Práce s Llama 3

Imtihan Ahmed

Machine Learning Engineer

Řízení výstupu modelu

✅ Parametry
✅ Role

Jak vylepšit model

Řízení výstupu modelu

✅ Parametry
✅ Role

Jak vylepšit model – upřesnění promptů

Řízení výstupu modelu

✅ Parametry
✅ Role

Jak vylepšit model – zero-shot/few-shot prompting

Řízení výstupu modelu

✅ Parametry
✅ Role

Jak vylepšit model – použití stop slov

Vylepšení promptů

Příklad: sumarizace

text_choice1 = "Summarize key trends in the aviation industry from the last year, 
                focusing on fuel efficiency innovations."


text_choice2 = "Tell me about the aviation industry."


output = llm(text_choice1) # More specific prompt is more effective

print(output['choices'][0]['text'])

The aviation industry has made significant strides in fuel efficiency innovations 
over the last year, driven by the need to reduce greenhouse gas emissions and 
operating costs. Sustainable Aviation Fuels (SAFs) have emerged as a key trend...

Složky efektivního promptingu

Složky efektivního promptingu – přesnost

Složky efektivního promptingu

Složky efektivního promptingu – nejednoznačnost

Složky efektivního promptingu

Složky efektivního promptingu – klíčová slova

Složky efektivního promptingu

Složky efektivního promptingu – akční slova

Složky efektivního promptingu

Složky efektivního promptingu – příklady

Zero-shot prompting

Zero-shot prompting: jediná instrukce

text = "Summarize recent mergers in the airline industry."


output = llm(text) 

print(output['choices'][0]['text'])

Recent mergers in the airline industry include Alaska Air Group's acquisition of 
Hawaiian Airlines in 2024, with both airlines continuing to operate as separate 
brands. In 2022, Delta Air Lines purchased 20% of LATAM Airlines Group...

Vylepšení zero-shot promptů

Je třeba rozlišit úkol, očekávaný výstup a kontext
Zero-shot prompting s popisky

text = """
       INSTRUCTION: Write concisely and in 2-3 sentences that cover only key points.
       QUESTION: Summarize recent mergers in the airline industry.
       ANSWER:
       """

Few-shot prompting

Few-shot prompting: použití více příkladů

Prompt

Few-shot prompting

Few-shot prompting: použití více příkladů

Prompt se zvýrazněným polem „aircraft model"

Few-shot prompting

Few-shot prompting: použití více příkladů

Prompt se zvýrazněným polem „passenger capacity"

Few-shot prompting

Few-shot prompting: použití více příkladů

Prompt se zvýrazněným polem „fuel consumption"

Few-shot prompting

output = llm(f"Continue the entries: {text}") 

print(output['choices'][0]['text'])

Aircraft Model: Airbus A350-900
Passenger Capacity: 350
Fuel Consumption: 2.39 liters per seat per 100 km

Použití stop slov

Potřeba stručných výsledků
Použití stop slov pro ukončení odpovědi v daném bodě
Příklad: aplikace pro odpovídání na otázky

text = "Which airlines operate direct flights from London to Singapore?"


output = llm(text, stop=["Q:"]) # Stop responses at "Q:"

print(output['choices'][0]['text'])

You can fly direct from London to Singapore with Singapore Airlines and 
British Airways.

Pojďme si procvičit!

Práce s Llama 3