Justera parametrar i Llama 3

Arbeta med Llama 3

Imtihan Ahmed

Machine Learning Engineer

Vad används parametrar till?

from llama_cpp import Llama
llm = Llama(model_path="path/to/model.gguf")
output = llm("What are some ways to improve customer retention?")

Kontrollera kvalitet, slumpmässighet och längd

Arbeta med Llama 3

Vad används parametrar till?

  • Exempel: generera produktbeskrivningar

professional_site.png

→ Bör vara faktabaserad och koncis

 

Livsstilsorienterad webbplats

 

→ Bör vara engagerande och kreativ

Arbeta med Llama 3

Avkodningsparametrar i Llama 3

$$

  • Anpassa Llamas beteende

$$

  • Använd avkodningsparametrar för att matcha olika toner

$$

  • Omvandla rå utdata till läsbar text

Anpassa Llamas beteende med parametrar

Arbeta med Llama 3

Avkodningsparametrar i Llama 3

$$

  • Temperature: styr slumpmässigheten
  • Top-K: begränsar tokenurvalet till de mest sannolika alternativen
  • Top-P: justerar tokenurvalet utifrån kumulativ sannolikhet
  • Max tokens: begränsar svarets längd

$$

Screenshot 2025-02-26 at 12.51.27.png

Arbeta med Llama 3

Temperature

  • Värden vanligtvis mellan 0 och 1

  • Låg temperature (t.ex. nära 0):

    • Mer förutsägbart svar
      A smartwatch with a heart rate monitor, GPS, and a long-lasting battery 
for all-day tracking.
  • Hög temperature (t.ex. nära 1):
    • Mer kreativt svar
      Your personal fitness coach on your wrist - track every heartbeat, every step, 
and every adventure without limits.
Arbeta med Llama 3

Top-k

  • Begränsar hur många av de mest sannolika orden Llama kan välja bland

  • Lågt k-värde (t.ex. 1):

    • Mer förutsägbart svar
      Track fitness, stream music, and receive notifications with our sleek smartwatch.

  • Högt k-värde (t.ex. 50):

    • Mer varierat svar
      Experience the future with our cutting-edge smartwatch, featuring fitness tracking, music streaming, customizable notifications, personalized insights, and seamless smartphone integration always.
Arbeta med Llama 3

Top-p

  • Styr valet av utdataord baserat på konfidens

  • Högt top-p-värde (t.ex. nära 1):

    • Mer varierade svar
      Stay connected with our sleek smartwatch, featuring fitness tracking,
music, and customizable notifications, perfect for fitness 
enthusiasts and busy professionals.

  • Lågt top-p-värde (t.ex. nära 0):

    • Mindre variation
      Smartwatch with fitness tracking and music control, perfect for workouts.
Arbeta med Llama 3

Max tokens

  • Används för att begränsa svarets längd

  • Antalet tokens – ordenheter – i svaret

  • Lågt max_tokens-värde:

    Stay connected with our sleek smartwatch, featuring fitness tracking 
and music control.
  • Högt max_tokens-värde:
    Stay connected with our sleek smartwatch, featuring fitness tracking, 
music control, customizable notifications, and seamless smartphone 
integration. Monitor your health, track your progress, and receive 
alerts on your wrist. Perfect for fitness enthusiasts.
Arbeta med Llama 3

Kombinera olika parametrar

llm = Llama(model_path="path/to/model.gguf")

output_concise = llm(
    "Describe an electric car.",

    temperature=0.2,

    top_k=1,

    top_p=0.4,

    max_tokens=20

)

A fast, eco-friendly electric car with a long range and cutting-edge technology.
Arbeta med Llama 3

Kombinera olika parametrar

output_creative = llm(
    "Describe an electric car.",

    temperature=0.8,

    top_k=10,

    top_p=0.9,

    max_tokens=100

)

Glide into the future with an electric car that blends speed, luxury,
and sustainability. Silent yet powerful, it redefines the road ...
Arbeta med Llama 3

Nu kör vi en övning!

Arbeta med Llama 3

Preparing Video For Download...