Unstrukturierte Antworten steuern

Arbeiten mit Llama 3

Imtihan Ahmed

Machine Learning Engineer

Modellausgabe steuern

✅ Parameter
✅ Rollen

Modell verfeinern

Modellausgabe steuern

✅ Parameter
✅ Rollen

Modell verfeinern – Prompts verfeinern

Modellausgabe steuern

✅ Parameter
✅ Rollen

Modell verfeinern – Zero-/Few-shot-Prompting

Modellausgabe steuern

✅ Parameter
✅ Rollen

Modell verfeinern – Stopwörter verwenden

Prompts verfeinern

Beispiel: Zusammenfassung

text_choice1 = "Summarize key trends in the aviation industry from the last year, 
                focusing on fuel efficiency innovations."


text_choice2 = "Tell me about the aviation industry."


output = llm(text_choice1) # More specific prompt is more effective

print(output['choices'][0]['text'])

The aviation industry has made significant strides in fuel efficiency innovations 
over the last year, driven by the need to reduce greenhouse gas emissions and 
operating costs. Sustainable Aviation Fuels (SAFs) have emerged as a key trend...

Bestandteile wirksamer Prompts

Bestandteile wirksamer Prompts – Präzision

Bestandteile wirksamer Prompts

Bestandteile wirksamer Prompts – Mehrdeutigkeit

Bestandteile wirksamer Prompts

Bestandteile wirksamer Prompts – Schlüsselwörter

Bestandteile wirksamer Prompts

Bestandteile wirksamer Prompts – Aktionswörter

Bestandteile wirksamer Prompts

Bestandteile wirksamer Prompts – Beispiele

Zero-shot-Prompting

Zero-shot-Prompting: eine einzelne Anweisung

text = "Summarize recent mergers in the airline industry."


output = llm(text) 

print(output['choices'][0]['text'])

Recent mergers in the airline industry include Alaska Air Group's acquisition of 
Hawaiian Airlines in 2024, with both airlines continuing to operate as separate 
brands. In 2022, Delta Air Lines purchased 20% of LATAM Airlines Group...

Zero-shot-Prompts verfeinern

Aufgabe, erwartete Ausgabe, zusätzlicher Kontext trennen
Zero-shot-Prompting mit Labels

text = """
       INSTRUCTION: Write concisely and in 2-3 sentences that cover only key points.
       QUESTION: Summarize recent mergers in the airline industry.
       ANSWER:
       """

Few-shot-Prompting

Few-shot-Prompting: mehrere Beispiele nutzen

Prompt

Few-shot-Prompting

Few-shot-Prompting: mehrere Beispiele nutzen

Prompt mit Hervorhebung „Aircraft Model“

Few-shot-Prompting

Few-shot-Prompting: mehrere Beispiele nutzen

Prompt mit Hervorhebung „Passenger Capacity“

Few-shot-Prompting

Few-shot-Prompting: mehrere Beispiele nutzen

Prompt mit Hervorhebung „Fuel Consumption“

Few-shot-Prompting

output = llm(f"Continue the entries: {text}") 

print(output['choices'][0]['text'])

Aircraft Model: Airbus A350-900
Passenger Capacity: 350
Fuel Consumption: 2.39 liters per seat per 100 km

Stopwörter verwenden

Knackige Insights nötig
stop-Wörter nutzen, um die Antwort gezielt zu beenden
Beispiel: Question-Answering-App

text = "Which airlines operate direct flights from London to Singapore?"


output = llm(text, stop=["Q:"]) # Stop responses at "Q:"

print(output['choices'][0]['text'])

You can fly direct from London to Singapore with Singapore Airlines and 
British Airways.

Lass uns üben!

Arbeiten mit Llama 3