Guiar respuestas no estructuradas

Trabajar con Llama 3

Imtihan Ahmed

Machine Learning Engineer

Controlar la salida del modelo

✅ Parámetros
✅ Roles

Cómo refinar el modelo

Controlar la salida del modelo

✅ Parámetros
✅ Roles

Cómo refinar el modelo: refinar prompts

Controlar la salida del modelo

✅ Parámetros
✅ Roles

Cómo refinar el modelo: zero-shot/few-shot prompting

Controlar la salida del modelo

✅ Parámetros
✅ Roles

Cómo refinar el modelo: usar stop words

Refinar prompts

Ejemplo: resumen

text_choice1 = "Summarize key trends in the aviation industry from the last year, 
                focusing on fuel efficiency innovations."


text_choice2 = "Tell me about the aviation industry."


output = llm(text_choice1) # Un prompt más específico es más eficaz

print(output['choices'][0]['text'])

The aviation industry has made significant strides in fuel efficiency innovations 
over the last year, driven by the need to reduce greenhouse gas emissions and 
operating costs. Sustainable Aviation Fuels (SAFs) have emerged as a key trend...

Componentes de un buen prompt

Componentes de un buen prompt: precisión

Componentes de un buen prompt

Componentes de un buen prompt: ambigüedad

Componentes de un buen prompt

Componentes de un buen prompt: palabras clave

Componentes de un buen prompt

Componentes de un buen prompt: verbos de acción

Componentes de un buen prompt

Componentes de un buen prompt: ejemplos

Zero-shot prompting

Zero-shot prompting: una sola instrucción

text = "Summarize recent mergers in the airline industry."


output = llm(text) 

print(output['choices'][0]['text'])

Recent mergers in the airline industry include Alaska Air Group's acquisition of 
Hawaiian Airlines in 2024, with both airlines continuing to operate as separate 
brands. In 2022, Delta Air Lines purchased 20% of LATAM Airlines Group...

Mejorar prompts zero-shot

Distingue tarea, salida esperada y contexto extra
Zero-shot con etiquetas

text = """
       INSTRUCTION: Write concisely and in 2-3 sentences that cover only key points.
       QUESTION: Summarize recent mergers in the airline industry.
       ANSWER:
       """

Few-shot prompting

Few-shot prompting: usa varios ejemplos

Prompt

Few-shot prompting

Few-shot prompting: usa varios ejemplos

Prompt con «aircraft model» resaltado

Few-shot prompting

Few-shot prompting: usa varios ejemplos

Prompt con «passenger capacity» resaltado

Few-shot prompting

Few-shot prompting: usa varios ejemplos

Prompt con «fuel consumption» resaltado

Few-shot prompting

output = llm(f"Continue the entries: {text}") 

print(output['choices'][0]['text'])

Aircraft Model: Airbus A350-900
Passenger Capacity: 350
Fuel Consumption: 2.39 liters per seat per 100 km

Uso de stop words

Queremos respuestas concisas
Usa stop para cortar la respuesta en un punto concreto
Ejemplo: app de preguntas y respuestas

text = "Which airlines operate direct flights from London to Singapore?"


output = llm(text, stop=["Q:"]) # Stop responses at "Q:"

print(output['choices'][0]['text'])

You can fly direct from London to Singapore with Singapore Airlines and 
British Airways.

¡Vamos a practicar!

Trabajar con Llama 3