Управление неструктурированными ответами

Работа с Llama 3

Imtihan Ahmed

Machine Learning Engineer

Управление выводом модели

✅ Параметры
✅ Роли

Как улучшить модель

Управление выводом модели

✅ Параметры
✅ Роли

Как улучшить модель — уточнение промптов

Управление выводом модели

✅ Параметры
✅ Роли

Как улучшить модель — zero-shot/few-shot промптинг

Управление выводом модели

✅ Параметры
✅ Роли

Как улучшить модель — стоп-слова

Уточнение промптов

Пример: суммаризация

text_choice1 = "Summarize key trends in the aviation industry from the last year, 
                focusing on fuel efficiency innovations."


text_choice2 = "Tell me about the aviation industry."


output = llm(text_choice1) # More specific prompt is more effective

print(output['choices'][0]['text'])

The aviation industry has made significant strides in fuel efficiency innovations 
over the last year, driven by the need to reduce greenhouse gas emissions and 
operating costs. Sustainable Aviation Fuels (SAFs) have emerged as a key trend...

Компоненты эффективного промптинга

Компоненты эффективного промптинга — точность

Компоненты эффективного промптинга

Компоненты эффективного промптинга — неоднозначность

Компоненты эффективного промптинга

Компоненты эффективного промптинга — ключевые слова

Компоненты эффективного промптинга

Компоненты эффективного промптинга — глаголы действия

Компоненты эффективного промптинга

Компоненты эффективного промптинга — примеры

Zero-shot промптинг

Zero-shot промптинг: одна инструкция

text = "Summarize recent mergers in the airline industry."


output = llm(text) 

print(output['choices'][0]['text'])

Recent mergers in the airline industry include Alaska Air Group's acquisition of 
Hawaiian Airlines in 2024, with both airlines continuing to operate as separate 
brands. In 2022, Delta Air Lines purchased 20% of LATAM Airlines Group...

Уточнение zero-shot промптов

Важно разграничить задачу, ожидаемый результат и контекст
Zero-shot промптинг с метками

text = """
       INSTRUCTION: Write concisely and in 2-3 sentences that cover only key points.
       QUESTION: Summarize recent mergers in the airline industry.
       ANSWER:
       """

Few-shot промптинг

Few-shot промптинг: использование нескольких примеров

Промпт

Few-shot промптинг

Few-shot промптинг: использование нескольких примеров

Промпт с выделенным «aircraft model»

Few-shot промптинг

Few-shot промптинг: использование нескольких примеров

Промпт с выделенным «passenger capacity»

Few-shot промптинг

Few-shot промптинг: использование нескольких примеров

Промпт с выделенным «fuel consumption»

Few-shot промптинг

output = llm(f"Continue the entries: {text}") 

print(output['choices'][0]['text'])

Aircraft Model: Airbus A350-900
Passenger Capacity: 350
Fuel Consumption: 2.39 liters per seat per 100 km

Использование стоп-слов

Нужны краткие выводы
Используйте stop-слова, чтобы завершить ответ в нужном месте
Пример: приложение для ответов на вопросы

text = "Which airlines operate direct flights from London to Singapore?"


output = llm(text, stop=["Q:"]) # Stop responses at "Q:"

print(output['choices'][0]['text'])

You can fly direct from London to Singapore with Singapore Airlines and 
British Airways.

Давайте потренируемся!

Работа с Llama 3