Настройка параметров Llama 3

Работа с Llama 3

Imtihan Ahmed

Machine Learning Engineer

Для чего нужны параметры?

from llama_cpp import Llama
llm = Llama(model_path="path/to/model.gguf")
output = llm("What are some ways to improve customer retention?")

Управление качеством, случайностью и длиной ответа

Для чего нужны параметры?

Пример: генерация описаний товаров

→ Должно быть фактическим и лаконичным

Сайт в стиле lifestyle

→ Должно быть живым и креативным

Параметры декодирования Llama 3

Управление поведением Llama

Используйте параметры декодирования для настройки тональности

Преобразование «сырого» вывода в читаемый текст

Управление поведением Llama с помощью параметров

Параметры декодирования Llama 3

Temperature: управляет случайностью
Top-K: ограничивает выбор токенов наиболее вероятными
Top-P: регулирует выбор токенов на основе накопленной вероятности
Max tokens: ограничивает длину ответа

Screenshot 2025-02-26 at 12.51.27.png

Temperature

Значения обычно от 0 до 1
Низкая temperature (например, близко к 0):
- Более предсказуемый ответ
```
A smartwatch with a heart rate monitor, GPS, and a long-lasting battery 
for all-day tracking.
```

Высокая temperature (например, близко к 1):

Более творческий ответ

Your personal fitness coach on your wrist - track every heartbeat, every step, 
and every adventure without limits.

Top-k

Ограничивает количество наиболее вероятных слов для выбора моделью
Низкое значение k (например, 1):
- Более предсказуемый ответ
```
Track fitness, stream music, and receive notifications with our sleek smartwatch.
```

Высокое значение k (например, 50):

Более разнообразный ответ

Experience the future with our cutting-edge smartwatch, featuring fitness tracking, music streaming, customizable notifications, personalized insights, and seamless smartphone integration always.

Top-p

Управляет выбором слов на основе уверенности модели

Высокое значение top-p (например, близко к 1):

Более разнообразные ответы

Stay connected with our sleek smartwatch, featuring fitness tracking,
music, and customizable notifications, perfect for fitness 
enthusiasts and busy professionals.

Низкое значение top-p (например, близко к 0):
- Меньше вариаций
```
Smartwatch with fitness tracking and music control, perfect for workouts.
```

Max tokens

Ограничивает длину ответа
Количество токенов — единиц текста — в ответе

Низкое значение max_tokens:

Stay connected with our sleek smartwatch, featuring fitness tracking 
and music control.

Высокое значение max_tokens:

Stay connected with our sleek smartwatch, featuring fitness tracking, 
music control, customizable notifications, and seamless smartphone 
integration. Monitor your health, track your progress, and receive 
alerts on your wrist. Perfect for fitness enthusiasts.

Комбинирование параметров

llm = Llama(model_path="path/to/model.gguf")

output_concise = llm(
    "Describe an electric car.",

    temperature=0.2,

    top_k=1,

    top_p=0.4,

    max_tokens=20

)

A fast, eco-friendly electric car with a long range and cutting-edge technology.

Комбинирование параметров

output_creative = llm(
    "Describe an electric car.",

    temperature=0.8,

    top_k=10,

    top_p=0.9,

    max_tokens=100

)

Glide into the future with an electric car that blends speed, luxury,
and sustainability. Silent yet powerful, it redefines the road ...

Давайте потренируемся!

Работа с Llama 3