Ongeleide antwoorden sturen

Werken met Llama 3

Imtihan Ahmed

Machine Learning Engineer

Modeloutput sturen

✅ Parameters
✅ Rollen

Model verfijnen

Modeloutput sturen

✅ Parameters
✅ Rollen

Model verfijnen - prompts aanscherpen

Modeloutput sturen

✅ Parameters
✅ Rollen

Model verfijnen - zero-shot/few-shot prompting

Modeloutput sturen

✅ Parameters
✅ Rollen

Model verfijnen - stopwoorden gebruiken

Prompts aanscherpen

Voorbeeld: samenvatten

text_choice1 = "Summarize key trends in the aviation industry from the last year, 
                focusing on fuel efficiency innovations."


text_choice2 = "Tell me about the aviation industry."


output = llm(text_choice1) # More specific prompt is more effective

print(output['choices'][0]['text'])

The aviation industry has made significant strides in fuel efficiency innovations 
over the last year, driven by the need to reduce greenhouse gas emissions and 
operating costs. Sustainable Aviation Fuels (SAFs) have emerged as a key trend...

Onderdelen van effectief prompten

Onderdelen van effectief prompten - Precisie

Onderdelen van effectief prompten

Onderdelen van effectief prompten - ambiguïteit

Onderdelen van effectief prompten

Onderdelen van effectief prompten - sleutelwoorden

Onderdelen van effectief prompten

Onderdelen van effectief prompten - werkwoorden

Onderdelen van effectief prompten

Onderdelen van effectief prompten - voorbeelden

Zero-shot prompting

Zero-shot prompting: één instructie

text = "Summarize recent mergers in the airline industry."


output = llm(text) 

print(output['choices'][0]['text'])

Recent mergers in the airline industry include Alaska Air Group's acquisition of 
Hawaiian Airlines in 2024, with both airlines continuing to operate as separate 
brands. In 2022, Delta Air Lines purchased 20% of LATAM Airlines Group...

Zero-shot prompts aanscherpen

Maak taak, verwachte output en extra context onderscheidbaar
Zero-shot prompting met labels

text = """
       INSTRUCTION: Write concisely and in 2-3 sentences that cover only key points.
       QUESTION: Summarize recent mergers in the airline industry.
       ANSWER:
       """

Few-shot prompting

Few-shot prompting: meerdere voorbeelden gebruiken

Prompt

Few-shot prompting

Few-shot prompting: meerdere voorbeelden gebruiken

Prompt met 'aircraft model' gemarkeerd

Few-shot prompting

Few-shot prompting: meerdere voorbeelden gebruiken

Prompt met 'passenger capacity' gemarkeerd

Few-shot prompting

Few-shot prompting: meerdere voorbeelden gebruiken

Prompt met 'fuel consumption' gemarkeerd

Few-shot prompting

output = llm(f"Continue the entries: {text}") 

print(output['choices'][0]['text'])

Aircraft Model: Airbus A350-900
Passenger Capacity: 350
Fuel Consumption: 2.39 liters per seat per 100 km

Stopwoorden gebruiken

Korte inzichten nodig
Gebruik stop-woorden om het antwoord op een punt te stoppen
Voorbeeld: vraag-antwoord-app

text = "Which airlines operate direct flights from London to Singapore?"


output = llm(text, stop=["Q:"]) # Stop responses at "Q:"

print(output['choices'][0]['text'])

You can fly direct from London to Singapore with Singapore Airlines and 
British Airways.

Laten we oefenen!

Werken met Llama 3