Налаштування параметрів Llama 3

Робота з Llama 3

Imtihan Ahmed

Machine Learning Engineer

Навіщо потрібні параметри?

from llama_cpp import Llama
llm = Llama(model_path="path/to/model.gguf")
output = llm("What are some ways to improve customer retention?")

Керуйте якістю, випадковістю та довжиною

Робота з Llama 3

Навіщо потрібні параметри?

  • Приклад: генерація описів товарів

professional_site.png

→ Має бути фактично й стисло

 

Lifestyle-орієнтований сайт

 

→ Має бути захопливим і креативним

Робота з Llama 3

Параметри декодування Llama 3

$$

  • Керуйте поведінкою Llama

$$

  • Використовуйте параметри декодування для потрібного тону

$$

  • Перетворюйте сирий вивід на читабельний текст

Налаштування поведінки Llama параметрами

Робота з Llama 3

Параметри декодування Llama 3

$$

  • Temperature: керує випадковістю
  • Top-K: обмежує вибір токенів найімовірнішими
  • Top-P: добирає токени за кумулятивною імовірністю
  • Max tokens: обмежує довжину відповіді

$$

Screenshot 2025-02-26 at 12.51.27.png

Робота з Llama 3

Temperature

  • Значення зазвичай між 0 і 1

  • Низька температура (наприклад, близько 0):

    • Передбачуваніша відповідь
      A smartwatch with a heart rate monitor, GPS, and a long-lasting battery 
for all-day tracking.
  • Висока температура (наприклад, близько 1):
    • Креативніша відповідь
      Your personal fitness coach on your wrist - track every heartbeat, every step, 
and every adventure without limits.
Робота з Llama 3

Top-k

  • Обмежує, скільки найімовірніших слів Llama може обрати

  • Низьке k (наприклад, 1):

    • Передбачуваніша відповідь
      Track fitness, stream music, and receive notifications with our sleek smartwatch.

  • Високе k (наприклад, 50):

    • Різноманітніша відповідь
      Experience the future with our cutting-edge smartwatch, featuring fitness tracking, music streaming, customizable notifications, personalized insights, and seamless smartphone integration always.
Робота з Llama 3

Top-p

  • Керує вибором слів у відповіді за рівнем упевненості

  • Високе top-p (наприклад, близько 1):

    • Більш різноманітні відповіді
      Stay connected with our sleek smartwatch, featuring fitness tracking,
music, and customizable notifications, perfect for fitness 
enthusiasts and busy professionals.

  • Низьке top-p (наприклад, близько 0):

    • Менше варіацій
      Smartwatch with fitness tracking and music control, perfect for workouts.
Робота з Llama 3

Max tokens

  • Використовується для обмеження довжини відповіді

  • Кількість токенів — одиниць слів — у відповіді

  • Низьке max_tokens:

    Stay connected with our sleek smartwatch, featuring fitness tracking 
and music control.
  • Високе max_tokens:
    Stay connected with our sleek smartwatch, featuring fitness tracking, 
music control, customizable notifications, and seamless smartphone 
integration. Monitor your health, track your progress, and receive 
alerts on your wrist. Perfect for fitness enthusiasts.
Робота з Llama 3

Комбінування різних параметрів

llm = Llama(model_path="path/to/model.gguf")

output_concise = llm(
    "Describe an electric car.",

    temperature=0.2,

    top_k=1,

    top_p=0.4,

    max_tokens=20

)

A fast, eco-friendly electric car with a long range and cutting-edge technology.
Робота з Llama 3

Комбінування різних параметрів

output_creative = llm(
    "Describe an electric car.",

    temperature=0.8,

    top_k=10,

    top_p=0.9,

    max_tokens=100

)

Glide into the future with an electric car that blends speed, luxury,
and sustainability. Silent yet powerful, it redefines the road ...
Робота з Llama 3

Давайте потренуємось!

Робота з Llama 3

Preparing Video For Download...