Dostosowywanie parametrów Llama 3

Praca z Llama 3

Imtihan Ahmed

Machine Learning Engineer

Do czego służą parametry?

from llama_cpp import Llama
llm = Llama(model_path="path/to/model.gguf")
output = llm("What are some ways to improve customer retention?")

Kontrolowanie jakości, losowości i długości

Praca z Llama 3

Do czego służą parametry?

  • Przykład: generowanie opisów produktów

professional_site.png

→ Powinny być rzeczowe i zwięzłe

 

Strona lifestylowa

 

→ Powinny być angażujące i kreatywne

Praca z Llama 3

Parametry dekodowania Llama 3

$$

  • Dostosowują zachowanie modelu Llama

$$

  • Używaj parametrów dekodowania, aby dopasować ton odpowiedzi

$$

  • Przekształcają surowe dane wyjściowe w czytelny tekst

Dostosowywanie zachowania Llama za pomocą parametrów

Praca z Llama 3

Parametry dekodowania Llama 3

$$

  • Temperatura: kontroluje losowość
  • Top-K: ogranicza wybór tokenów do najbardziej prawdopodobnych
  • Top-P: dostosowuje wybór tokenów na podstawie prawdopodobieństwa skumulowanego
  • Maksymalna liczba tokenów: ogranicza długość odpowiedzi

$$

Screenshot 2025-02-26 at 12.51.27.png

Praca z Llama 3

Temperatura

  • Wartości zazwyczaj od 0 do 1

  • Niska temperatura (np. blisko 0):

    • Bardziej przewidywalna odpowiedź
      A smartwatch with a heart rate monitor, GPS, and a long-lasting battery 
for all-day tracking.
  • Wysoka temperatura (np. blisko 1):
    • Bardziej kreatywna odpowiedź
      Your personal fitness coach on your wrist - track every heartbeat, every step, 
and every adventure without limits.
Praca z Llama 3

Top-k

  • Ogranicza liczbę najbardziej prawdopodobnych słów do wyboru

  • Niska wartość k (np. 1):

    • Bardziej przewidywalna odpowiedź
      Track fitness, stream music, and receive notifications with our sleek smartwatch.

  • Wysoka wartość k (np. 50):

    • Bardziej zróżnicowana odpowiedź
      Experience the future with our cutting-edge smartwatch, featuring fitness tracking, music streaming, customizable notifications, personalized insights, and seamless smartphone integration always.
Praca z Llama 3

Top-p

  • Kontroluje wybór słów na podstawie pewności

  • Wysoka wartość top-p (np. blisko 1):

    • Bardziej zróżnicowane odpowiedzi
      Stay connected with our sleek smartwatch, featuring fitness tracking,
music, and customizable notifications, perfect for fitness 
enthusiasts and busy professionals.

  • Niska wartość top-p (np. blisko 0):

    • Mniejsza różnorodność
      Smartwatch with fitness tracking and music control, perfect for workouts.
Praca z Llama 3

Maksymalna liczba tokenów

  • Służy do ograniczania długości odpowiedzi

  • Liczba tokenów – jednostek słów – w odpowiedzi

  • Niska wartość max_tokens:

    Stay connected with our sleek smartwatch, featuring fitness tracking 
and music control.
  • Wysoka wartość max_tokens:
    Stay connected with our sleek smartwatch, featuring fitness tracking, 
music control, customizable notifications, and seamless smartphone 
integration. Monitor your health, track your progress, and receive 
alerts on your wrist. Perfect for fitness enthusiasts.
Praca z Llama 3

Łączenie różnych parametrów

llm = Llama(model_path="path/to/model.gguf")

output_concise = llm(
    "Describe an electric car.",

    temperature=0.2,

    top_k=1,

    top_p=0.4,

    max_tokens=20

)

A fast, eco-friendly electric car with a long range and cutting-edge technology.
Praca z Llama 3

Łączenie różnych parametrów

output_creative = llm(
    "Describe an electric car.",

    temperature=0.8,

    top_k=10,

    top_p=0.9,

    max_tokens=100

)

Glide into the future with an electric car that blends speed, luxury,
and sustainability. Silent yet powerful, it redefines the road ...
Praca z Llama 3

Czas na ćwiczenia!

Praca z Llama 3

Preparing Video For Download...