Ajustarea parametrilor Llama 3

Lucrul cu Llama 3

Imtihan Ahmed

Machine Learning Engineer

La ce servesc parametrii?

from llama_cpp import Llama
llm = Llama(model_path="path/to/model.gguf")
output = llm("What are some ways to improve customer retention?")

Controlul calității, aleatorismului și lungimii

Lucrul cu Llama 3

La ce servesc parametrii?

  • Exemplu: generarea descrierilor de produse

professional_site.png

→ Trebuie să fie factual și concis

 

Site orientat spre stil de viață

 

→ Trebuie să fie captivant și creativ

Lucrul cu Llama 3

Parametrii de decodare Llama 3

$$

  • Ajustarea comportamentului Llama

$$

  • Utilizarea parametrilor de decodare pentru a potrivi diferite tonuri

$$

  • Transformarea rezultatului brut în text lizibil

Ajustarea comportamentului Llama cu parametri

Lucrul cu Llama 3

Parametrii de decodare Llama 3

$$

  • Temperatura: controlează aleatorismul
  • Top-K: limitează selecția de tokeni la cele mai probabile opțiuni
  • Top-P: ajustează selecția de tokeni pe baza probabilității cumulative
  • Număr maxim de tokeni: limitează lungimea răspunsului

$$

Screenshot 2025-02-26 at 12.51.27.png

Lucrul cu Llama 3

Temperatura

  • Valori de obicei între 0 și 1

  • Temperatură scăzută (ex., aproape de 0):

    • Răspuns mai previzibil
      A smartwatch with a heart rate monitor, GPS, and a long-lasting battery 
for all-day tracking.
  • Temperatură ridicată (ex., aproape de 1):
    • Răspuns mai creativ
      Your personal fitness coach on your wrist - track every heartbeat, every step, 
and every adventure without limits.
Lucrul cu Llama 3

Top-k

  • Limitează numărul de cuvinte probabile din care poate alege Llama

  • Valoare k scăzută (ex., 1):

    • Răspuns mai previzibil
      Track fitness, stream music, and receive notifications with our sleek smartwatch.

  • Valoare k ridicată (ex., 50):

    • Răspuns mai divers
      Experience the future with our cutting-edge smartwatch, featuring fitness tracking, music streaming, customizable notifications, personalized insights, and seamless smartphone integration always.
Lucrul cu Llama 3

Top-p

  • Controlează alegerea cuvintelor din răspuns pe baza încrederii

  • Valoare top-p ridicată (ex., aproape de 1):

    • Răspunsuri mai variate
      Stay connected with our sleek smartwatch, featuring fitness tracking,
music, and customizable notifications, perfect for fitness 
enthusiasts and busy professionals.

  • Valoare top-p scăzută (ex., aproape de 0):

    • Variație redusă
      Smartwatch with fitness tracking and music control, perfect for workouts.
Lucrul cu Llama 3

Numărul maxim de tokeni

  • Utilizat pentru a limita lungimea răspunsului

  • Numărul de tokeni — unități de cuvinte — din răspuns

  • Valoare max_tokens scăzută:

    Stay connected with our sleek smartwatch, featuring fitness tracking 
and music control.
  • Valoare max_tokens ridicată:
    Stay connected with our sleek smartwatch, featuring fitness tracking, 
music control, customizable notifications, and seamless smartphone 
integration. Monitor your health, track your progress, and receive 
alerts on your wrist. Perfect for fitness enthusiasts.
Lucrul cu Llama 3

Combinarea diferiților parametri

llm = Llama(model_path="path/to/model.gguf")

output_concise = llm(
    "Describe an electric car.",

    temperature=0.2,

    top_k=1,

    top_p=0.4,

    max_tokens=20

)

A fast, eco-friendly electric car with a long range and cutting-edge technology.
Lucrul cu Llama 3

Combinarea diferiților parametri

output_creative = llm(
    "Describe an electric car.",

    temperature=0.8,

    top_k=10,

    top_p=0.9,

    max_tokens=100

)

Glide into the future with an electric car that blends speed, luxury,
and sustainability. Silent yet powerful, it redefines the road ...
Lucrul cu Llama 3

Să exersăm!

Lucrul cu Llama 3

Preparing Video For Download...