Ghidarea răspunsurilor nestructurate

Lucrul cu Llama 3

Imtihan Ahmed

Machine Learning Engineer

Controlul ieșirii modelului

  • ✅ Parametri
  • ✅ Roluri

Cum se rafinează modelul

Lucrul cu Llama 3

Controlul ieșirii modelului

  • ✅ Parametri
  • ✅ Roluri

Cum se rafinează modelul - rafinarea prompturilor

Lucrul cu Llama 3

Controlul ieșirii modelului

  • ✅ Parametri
  • ✅ Roluri

Cum se rafinează modelul - prompting zero-shot/few-shot

Lucrul cu Llama 3

Controlul ieșirii modelului

  • ✅ Parametri
  • ✅ Roluri

Cum se rafinează modelul - utilizarea cuvintelor stop

Lucrul cu Llama 3

Rafinarea prompturilor

  • Exemplu: rezumare
text_choice1 = "Summarize key trends in the aviation industry from the last year, 
                focusing on fuel efficiency innovations."


text_choice2 = "Tell me about the aviation industry."


output = llm(text_choice1) # More specific prompt is more effective

print(output['choices'][0]['text'])

The aviation industry has made significant strides in fuel efficiency innovations 
over the last year, driven by the need to reduce greenhouse gas emissions and 
operating costs. Sustainable Aviation Fuels (SAFs) have emerged as a key trend...
Lucrul cu Llama 3

Componentele unui prompt eficient

Componentele unui prompt eficient

Lucrul cu Llama 3

Componentele unui prompt eficient

Componentele unui prompt eficient - Precizie

Lucrul cu Llama 3

Componentele unui prompt eficient

Componentele unui prompt eficient - ambiguitate

Lucrul cu Llama 3

Componentele unui prompt eficient

Componentele unui prompt eficient - cuvinte cheie

Lucrul cu Llama 3

Componentele unui prompt eficient

Componentele unui prompt eficient - cuvinte de acțiune

Lucrul cu Llama 3

Componentele unui prompt eficient

Componentele unui prompt eficient - exemple

Lucrul cu Llama 3

Prompting zero-shot

  • Prompting zero-shot: o singură instrucțiune
text = "Summarize recent mergers in the airline industry."


output = llm(text) 

print(output['choices'][0]['text'])

Recent mergers in the airline industry include Alaska Air Group's acquisition of 
Hawaiian Airlines in 2024, with both airlines continuing to operate as separate 
brands. In 2022, Delta Air Lines purchased 20% of LATAM Airlines Group...
Lucrul cu Llama 3

Rafinarea prompturilor zero-shot

  • Distingerea sarcinii, rezultatului așteptat și contextului
  • Prompting zero-shot cu etichete
text = """
       INSTRUCTION: Write concisely and in 2-3 sentences that cover only key points.
       QUESTION: Summarize recent mergers in the airline industry.
       ANSWER:
       """
Lucrul cu Llama 3

Prompting few-shot

  • Prompting few-shot: utilizarea mai multor exemple

Prompt

Lucrul cu Llama 3

Prompting few-shot

  • Prompting few-shot: utilizarea mai multor exemple

Prompt cu „aircraft model" evidențiat

Lucrul cu Llama 3

Prompting few-shot

  • Prompting few-shot: utilizarea mai multor exemple

Prompt cu „passenger capacity" evidențiat

Lucrul cu Llama 3

Prompting few-shot

  • Prompting few-shot: utilizarea mai multor exemple

Prompt cu „fuel consumption" evidențiat

Lucrul cu Llama 3

Prompting few-shot

$$

output = llm(f"Continue the entries: {text}") 

print(output['choices'][0]['text'])

Aircraft Model: Airbus A350-900
Passenger Capacity: 350
Fuel Consumption: 2.39 liters per seat per 100 km
Lucrul cu Llama 3

Utilizarea cuvintelor stop

  • Necesitatea unor informații concise
  • Utilizați cuvinte stop pentru a încheia răspunsul la un punct specific
  • Exemplu: aplicație de răspuns la întrebări
text = "Which airlines operate direct flights from London to Singapore?"


output = llm(text, stop=["Q:"]) # Stop responses at "Q:"

print(output['choices'][0]['text'])

You can fly direct from London to Singapore with Singapore Airlines and 
British Airways.
Lucrul cu Llama 3

Să exersăm!

Lucrul cu Llama 3

Preparing Video For Download...