Скерування неструктурованими відповідями

Робота з Llama 3

Imtihan Ahmed

Machine Learning Engineer

Керування виводом моделі

✅ Параметри
✅ Ролі

Як вдосконалювати модель

Керування виводом моделі

✅ Параметри
✅ Ролі

Як вдосконалювати модель — уточнюйте підказки

Керування виводом моделі

✅ Параметри
✅ Ролі

Як вдосконалювати модель — zero-shot/few-shot підказки

Керування виводом моделі

✅ Параметри
✅ Ролі

Як вдосконалювати модель — використовуйте стоп-слова

Уточнення підказок

Приклад: узагальнення

text_choice1 = "Summarize key trends in the aviation industry from the last year, 
                focusing on fuel efficiency innovations."


text_choice2 = "Tell me about the aviation industry."


output = llm(text_choice1) # More specific prompt is more effective

print(output['choices'][0]['text'])

The aviation industry has made significant strides in fuel efficiency innovations 
over the last year, driven by the need to reduce greenhouse gas emissions and 
operating costs. Sustainable Aviation Fuels (SAFs) have emerged as a key trend...

Складники ефективних підказок

Складники ефективних підказок — точність

Складники ефективних підказок

Складники ефективних підказок — двозначність

Складники ефективних підказок

Складники ефективних підказок — ключові слова

Складники ефективних підказок

Складники ефективних підказок — дієслівні інструкції

Складники ефективних підказок

Складники ефективних підказок — приклади

Zero-shot підказки

Zero-shot підказка: одна інструкція

text = "Summarize recent mergers in the airline industry."


output = llm(text) 

print(output['choices'][0]['text'])

Recent mergers in the airline industry include Alaska Air Group's acquisition of 
Hawaiian Airlines in 2024, with both airlines continuing to operate as separate 
brands. In 2022, Delta Air Lines purchased 20% of LATAM Airlines Group...

Уточнення zero-shot підказок

Визначайте завдання, очікуваний результат, додатковий контекст
Zero-shot підказка з мітками

text = """
       INSTRUCTION: Write concisely and in 2-3 sentences that cover only key points.
       QUESTION: Summarize recent mergers in the airline industry.
       ANSWER:
       """

Few-shot підказки

Few-shot підказки: кілька прикладів

Підказка

Few-shot підказки

Few-shot підказки: кілька прикладів

Підказка з виділеним «aircraft model»

Few-shot підказки

Few-shot підказки: кілька прикладів

Підказка з виділеною «passenger capacity»

Few-shot підказки

Few-shot підказки: кілька прикладів

Підказка з виділеною «fuel consumption»

Few-shot підказки

output = llm(f"Continue the entries: {text}") 

print(output['choices'][0]['text'])

Aircraft Model: Airbus A350-900
Passenger Capacity: 350
Fuel Consumption: 2.39 liters per seat per 100 km

Використання стоп-слів

Потрібні стислі інсайти
Використовуйте stop-слова, щоб зупинити відповідь у потрібному місці
Приклад: застосунок запитання‑відповідь

text = "Which airlines operate direct flights from London to Singapore?"


output = llm(text, stop=["Q:"]) # Stop responses at "Q:"

print(output['choices'][0]['text'])

You can fly direct from London to Singapore with Singapore Airlines and 
British Airways.

Давайте потренуємось!

Робота з Llama 3