Llama 3-parameters afstellen

Werken met Llama 3

Imtihan Ahmed

Machine Learning Engineer

Waarvoor zijn parameters?

from llama_cpp import Llama
llm = Llama(model_path="path/to/model.gguf")
output = llm("What are some ways to improve customer retention?")

Beheer kwaliteit, willekeur en lengte

Werken met Llama 3

Waarvoor zijn parameters?

  • Voorbeeld: productbeschrijvingen genereren

professional_site.png

→ Moet feitelijk en beknopt zijn

 

Levensstijlgerichte site

 

→ Moet meeslepend en creatief zijn

Werken met Llama 3

Llama 3-decodingsparameters

$$

  • Pas het gedrag van Llama aan

$$

  • Gebruik decodingparameters om de toon te sturen

$$

  • Zet ruwe output om naar leesbare tekst

Gedrag van Llama aanpassen met parameters

Werken met Llama 3

Llama 3-decodingsparameters

$$

  • Temperature: bepaalt willekeur
  • Top-K: beperkt selectie tot meest waarschijnlijke tokens
  • Top-P: kiest op basis van cumulatieve waarschijnlijkheid
  • Max tokens: beperkt antwoordlengte

$$

Screenshot 2025-02-26 at 12.51.27.png

Werken met Llama 3

Temperatuur

  • Waarden meestal tussen 0 en 1

  • Lage temperatuur (bijv. dicht bij 0):

    • Voorspelbaarder antwoord
      Een smartwatch met hartslagmeter, gps en een lange batterijduur 
voor de hele dag.
  • Hoge temperatuur (bijv. dicht bij 1):
    • Creatiever antwoord
      Je persoonlijke fitnesscoach om je pols: volg elke hartslag, elke stap 
en elk avontuur zonder grenzen.
Werken met Llama 3

Top-k

  • Beperkt hoeveel van de meest waarschijnlijke woorden Llama kan kiezen

  • Lage k-waarde (bijv. 1):

    • Voorspelbaarder antwoord
      Volg je fitness, stream muziek en ontvang meldingen met onze slanke smartwatch.

  • Hoge k-waarde (bijv. 50):

    • Gevarieerder antwoord
      Ervaar de toekomst met onze geavanceerde smartwatch met fitnesstracking, muziekstreaming, aanpasbare meldingen, persoonlijke inzichten en naadloze smartphone-integratie.
Werken met Llama 3

Top-p

  • Stuurt de woordkeuze op basis van zekerheid

  • Hoge top-p-waarde (bijv. dicht bij 1):

    • Meer variatie
      Blijf verbonden met onze slanke smartwatch met fitnesstracking,
muziek en aanpasbare meldingen, perfect voor sporters en drukke professionals.

  • Lage top-p-waarde (bijv. dicht bij 0):

    • Minder variatie
      Smartwatch met fitnesstracking en muziekbediening, ideaal voor workouts.
Werken met Llama 3

Max tokens

  • Gebruikt om antwoordlengte te beperken

  • Het aantal tokens — woordeenheden — in het antwoord

  • Lage max_tokens-waarde:

    Blijf verbonden met onze slanke smartwatch met fitnesstracking 
en muziekbediening.
  • Hoge max_tokens-waarde:
    Blijf verbonden met onze slanke smartwatch met fitnesstracking, 
muziekbediening, aanpasbare meldingen en naadloze smartphone-
integratie. Monitor je gezondheid, volg je voortgang en ontvang 
meldingen op je pols. Perfect voor sportliefhebbers.
Werken met Llama 3

Parameters combineren

llm = Llama(model_path="path/to/model.gguf")

output_concise = llm(
    "Describe an electric car.",

    temperature=0.2,

    top_k=1,

    top_p=0.4,

    max_tokens=20

)

Een snelle, milieuvriendelijke elektrische auto met groot bereik en geavanceerde technologie.
Werken met Llama 3

Parameters combineren

output_creative = llm(
    "Describe an electric car.",

    temperature=0.8,

    top_k=10,

    top_p=0.9,

    max_tokens=100

)

Glijd de toekomst in met een elektrische auto die snelheid, luxe 
en duurzaamheid combineert. Stil maar krachtig, hij herdefinieert de weg ...
Werken met Llama 3

Laten we oefenen!

Werken met Llama 3

Preparing Video For Download...