Styra ostrukturerade svar

Arbeta med Llama 3

Imtihan Ahmed

Machine Learning Engineer

Styra modellens utdata

  • ✅ Parametrar
  • ✅ Roller

Så här förfinar du modellen

Arbeta med Llama 3

Styra modellens utdata

  • ✅ Parametrar
  • ✅ Roller

Så här förfinar du modellen – förfina prompter

Arbeta med Llama 3

Styra modellens utdata

  • ✅ Parametrar
  • ✅ Roller

Så här förfinar du modellen – zero-shot/few-shot-promptning

Arbeta med Llama 3

Styra modellens utdata

  • ✅ Parametrar
  • ✅ Roller

Så här förfinar du modellen – använd stoppord

Arbeta med Llama 3

Förfina prompter

  • Exempel: sammanfattning
text_choice1 = "Summarize key trends in the aviation industry from the last year, 
                focusing on fuel efficiency innovations."


text_choice2 = "Tell me about the aviation industry."


output = llm(text_choice1) # More specific prompt is more effective

print(output['choices'][0]['text'])

The aviation industry has made significant strides in fuel efficiency innovations 
over the last year, driven by the need to reduce greenhouse gas emissions and 
operating costs. Sustainable Aviation Fuels (SAFs) have emerged as a key trend...
Arbeta med Llama 3

Komponenter i effektiv promptning

Komponenter i effektiv promptning

Arbeta med Llama 3

Komponenter i effektiv promptning

Komponenter i effektiv promptning – precision

Arbeta med Llama 3

Komponenter i effektiv promptning

Komponenter i effektiv promptning – tvetydighet

Arbeta med Llama 3

Komponenter i effektiv promptning

Komponenter i effektiv promptning – nyckelord

Arbeta med Llama 3

Komponenter i effektiv promptning

Komponenter i effektiv promptning – handlingsord

Arbeta med Llama 3

Komponenter i effektiv promptning

Komponenter i effektiv promptning – exempel

Arbeta med Llama 3

Zero-shot-promptning

  • Zero-shot-promptning: en enskild instruktion
text = "Summarize recent mergers in the airline industry."


output = llm(text) 

print(output['choices'][0]['text'])

Recent mergers in the airline industry include Alaska Air Group's acquisition of 
Hawaiian Airlines in 2024, with both airlines continuing to operate as separate 
brands. In 2022, Delta Air Lines purchased 20% of LATAM Airlines Group...
Arbeta med Llama 3

Förfina zero-shot-prompter

  • Särskilj uppgift, förväntat resultat och kontext
  • Zero-shot-promptning med etiketter
text = """
       INSTRUCTION: Write concisely and in 2-3 sentences that cover only key points.
       QUESTION: Summarize recent mergers in the airline industry.
       ANSWER:
       """
Arbeta med Llama 3

Few-shot-promptning

  • Few-shot-promptning: användning av flera exempel

Prompt

Arbeta med Llama 3

Few-shot-promptning

  • Few-shot-promptning: användning av flera exempel

Prompt med "aircraft model" markerat

Arbeta med Llama 3

Few-shot-promptning

  • Few-shot-promptning: användning av flera exempel

Prompt med "passenger capacity" markerat

Arbeta med Llama 3

Few-shot-promptning

  • Few-shot-promptning: användning av flera exempel

Prompt med "fuel consumption" markerat

Arbeta med Llama 3

Few-shot-promptning

$$

output = llm(f"Continue the entries: {text}") 

print(output['choices'][0]['text'])

Aircraft Model: Airbus A350-900
Passenger Capacity: 350
Fuel Consumption: 2.39 liters per seat per 100 km
Arbeta med Llama 3

Använda stoppord

  • Behov av kortfattade insikter
  • Använd stop-ord för att avsluta svaret vid en bestämd punkt
  • Exempel: fråge- och svarsfunktion
text = "Which airlines operate direct flights from London to Singapore?"


output = llm(text, stop=["Q:"]) # Stop responses at "Q:"

print(output['choices'][0]['text'])

You can fly direct from London to Singapore with Singapore Airlines and 
British Airways.
Arbeta med Llama 3

Nu kör vi en övning!

Arbeta med Llama 3

Preparing Video For Download...