Orientando respostas não estruturadas

Trabalhando com Llama 3

Imtihan Ahmed

Machine Learning Engineer

Controlando a saída do modelo

✅ Parâmetros
✅ Papéis

Como refinar o modelo

Controlando a saída do modelo

✅ Parâmetros
✅ Papéis

Como refinar o modelo - refinar prompts

Controlando a saída do modelo

✅ Parâmetros
✅ Papéis

Como refinar o modelo - zero-shot/few-shot prompting

Controlando a saída do modelo

✅ Parâmetros
✅ Papéis

Como refinar o modelo - usar stop words

Refinando prompts

Exemplo: sumarização

text_choice1 = "Summarize key trends in the aviation industry from the last year, 
                focusing on fuel efficiency innovations."


text_choice2 = "Tell me about the aviation industry."


output = llm(text_choice1) # Prompt mais específico é mais eficaz

print(output['choices'][0]['text'])

The aviation industry has made significant strides in fuel efficiency innovations 
over the last year, driven by the need to reduce greenhouse gas emissions and 
operating costs. Sustainable Aviation Fuels (SAFs) have emerged as a key trend...

Componentes de uma boa engenharia de prompts

Componentes de uma boa engenharia de prompts - Precisão

Componentes de uma boa engenharia de prompts

Componentes de uma boa engenharia de prompts - Ambiguidade

Componentes de uma boa engenharia de prompts

Componentes de uma boa engenharia de prompts - Palavras‑chave

Componentes de uma boa engenharia de prompts

Componentes de uma boa engenharia de prompts - Verbos de ação

Componentes de uma boa engenharia de prompts

Componentes de uma boa engenharia de prompts - Exemplos

Zero-shot prompting

Zero-shot: uma única instrução

text = "Summarize recent mergers in the airline industry."


output = llm(text) 

print(output['choices'][0]['text'])

Recent mergers in the airline industry include Alaska Air Group's acquisition of 
Hawaiian Airlines in 2024, with both airlines continuing to operate as separate 
brands. In 2022, Delta Air Lines purchased 20% of LATAM Airlines Group...

Refinando prompts zero-shot

Diferenciar tarefa, saída esperada e contexto extra
Zero-shot com rótulos

text = """
       INSTRUCTION: Write concisely and in 2-3 sentences that cover only key points.
       QUESTION: Summarize recent mergers in the airline industry.
       ANSWER:
       """

Few-shot prompting

Few-shot: usar vários exemplos

Prompt

Few-shot prompting

Few-shot: usar vários exemplos

Prompt com "aircraft model" destacado

Few-shot prompting

Few-shot: usar vários exemplos

Prompt com "passenger capacity" destacado

Few-shot prompting

Few-shot: usar vários exemplos

Prompt com "fuel consumption" destacado

Few-shot prompting

output = llm(f"Continue the entries: {text}") 

print(output['choices'][0]['text'])

Aircraft Model: Airbus A350-900
Passenger Capacity: 350
Fuel Consumption: 2.39 liters per seat per 100 km

Usando stop words

Precisamos de respostas concisas
Use stop para encerrar a resposta num ponto específico
Exemplo: app de perguntas e respostas

text = "Which airlines operate direct flights from London to Singapore?"


output = llm(text, stop=["Q:"]) # Parar respostas em "Q:"

print(output['choices'][0]['text'])

You can fly direct from London to Singapore with Singapore Airlines and 
British Airways.

Vamos praticar!

Trabalhando com Llama 3