Ladění parametrů Llama 3

Práce s Llama 3

Imtihan Ahmed

Machine Learning Engineer

K čemu slouží parametry?

from llama_cpp import Llama
llm = Llama(model_path="path/to/model.gguf")
output = llm("What are some ways to improve customer retention?")

Ovládání kvality, náhodnosti a délky

Práce s Llama 3

K čemu slouží parametry?

  • Příklad: generování popisů produktů

professional_site.png

→ Měl by být věcný a stručný

 

Web zaměřený na životní styl

 

→ Měl by být poutavý a kreativní

Práce s Llama 3

Dekódovací parametry Llama 3

$$

  • Úprava chování Llamy

$$

  • Použití dekódovacích parametrů pro různé tóny

$$

  • Převod surového výstupu na čitelný text

Úprava chování Llamy pomocí parametrů

Práce s Llama 3

Dekódovací parametry Llama 3

$$

  • Teplota: řídí náhodnost
  • Top-K: omezuje výběr tokenů na nejpravděpodobnější možnosti
  • Top-P: upravuje výběr tokenů na základě kumulativní pravděpodobnosti
  • Max tokens: omezuje délku odpovědi

$$

Screenshot 2025-02-26 at 12.51.27.png

Práce s Llama 3

Teplota

  • Hodnoty obvykle mezi 0 a 1

  • Nízká teplota (např. blízko 0):

    • Předvídatelnější odpověď
      A smartwatch with a heart rate monitor, GPS, and a long-lasting battery 
for all-day tracking.
  • Vysoká teplota (např. blízko 1):
    • Kreativnější odpověď
      Your personal fitness coach on your wrist - track every heartbeat, every step, 
and every adventure without limits.
Práce s Llama 3

Top-k

  • Omezuje počet nejpravděpodobnějších slov, ze kterých Llama vybírá

  • Nízká hodnota k (např. 1):

    • Předvídatelnější odpověď
      Track fitness, stream music, and receive notifications with our sleek smartwatch.

  • Vysoká hodnota k (např. 50):

    • Různorodější odpověď
      Experience the future with our cutting-edge smartwatch, featuring fitness tracking, music streaming, customizable notifications, personalized insights, and seamless smartphone integration always.
Práce s Llama 3

Top-p

  • Řídí výběr výstupních slov na základě jistoty

  • Vysoká hodnota top-p (např. blízko 1):

    • Různorodější odpovědi
      Stay connected with our sleek smartwatch, featuring fitness tracking,
music, and customizable notifications, perfect for fitness 
enthusiasts and busy professionals.

  • Nízká hodnota top-p (např. blízko 0):

    • Menší variabilita
      Smartwatch with fitness tracking and music control, perfect for workouts.
Práce s Llama 3

Max tokens

  • Omezuje délku odpovědi

  • Počet tokenů – jednotek slov – v odpovědi

  • Nízká hodnota max_tokens:

    Stay connected with our sleek smartwatch, featuring fitness tracking 
and music control.
  • Vysoká hodnota max_tokens:
    Stay connected with our sleek smartwatch, featuring fitness tracking, 
music control, customizable notifications, and seamless smartphone 
integration. Monitor your health, track your progress, and receive 
alerts on your wrist. Perfect for fitness enthusiasts.
Práce s Llama 3

Kombinování různých parametrů

llm = Llama(model_path="path/to/model.gguf")

output_concise = llm(
    "Describe an electric car.",

    temperature=0.2,

    top_k=1,

    top_p=0.4,

    max_tokens=20

)

A fast, eco-friendly electric car with a long range and cutting-edge technology.
Práce s Llama 3

Kombinování různých parametrů

output_creative = llm(
    "Describe an electric car.",

    temperature=0.8,

    top_k=10,

    top_p=0.9,

    max_tokens=100

)

Glide into the future with an electric car that blends speed, luxury,
and sustainability. Silent yet powerful, it redefines the road ...
Práce s Llama 3

Pojďme si procvičit!

Práce s Llama 3

Preparing Video For Download...