Llama-3-Parameter abstimmen

Arbeiten mit Llama 3

Imtihan Ahmed

Machine Learning Engineer

Wofür sind Parameter?

from llama_cpp import Llama
llm = Llama(model_path="path/to/model.gguf")
output = llm("What are some ways to improve customer retention?")

Steuere Qualität, Zufälligkeit und Länge

Arbeiten mit Llama 3

Wofür sind Parameter?

  • Beispiel: Produktbeschreibungen generieren

professional_site.png

→ Soll sachlich und knapp sein

 

Lifestyle-orientierte Seite

 

→ Soll fesselnd und kreativ sein

Arbeiten mit Llama 3

Llama‑3‑Decoding‑Parameter

$$

  • Llamas Verhalten anpassen

$$

  • Decoding-Parameter nutzen, um Töne zu steuern

$$

  • Rohoutput in lesbaren Text umwandeln

Llama-Verhalten mit Parametern anpassen

Arbeiten mit Llama 3

Llama‑3‑Decoding‑Parameter

$$

  • Temperatur: steuert Zufälligkeit
  • Top‑K: beschränkt Auswahl auf wahrscheinlichste Tokens
  • Top‑P: wählt nach kumulativer Wahrscheinlichkeit
  • Max Tokens: begrenzt Antwortlänge

$$

Screenshot 2025-02-26 at 12.51.27.png

Arbeiten mit Llama 3

Temperatur

  • Werte meist zwischen 0 und 1

  • Niedrige Temperatur (z. B. nahe 0):

    • Vorhersehbarere Antwort
      Eine Smartwatch mit Herzfrequenzmesser, GPS und langlebigem Akku 
für ganztägiges Tracking.
  • Hohe Temperatur (z. B. nahe 1):
    • Kreativere Antwort
      Dein persönlicher Fitnesscoach am Handgelenk – verfolge jeden Herzschlag, jeden Schritt 
und jedes Abenteuer ohne Grenzen.
Arbeiten mit Llama 3

Top-k

  • Begrenzt, aus wie vielen der wahrscheinlichsten Wörter Llama wählen kann

  • Niedriger k-Wert (z. B. 1):

    • Vorhersehbarere Antwort
      Verfolge Fitness, streame Musik und erhalte Benachrichtigungen mit unserer schlanken Smartwatch.

  • Hoher k-Wert (z. B. 50):

    • Vielfältigere Antwort
      Erlebe die Zukunft mit unserer hochmodernen Smartwatch mit Fitness-Tracking, Musikstreaming, anpassbaren Benachrichtigungen, persönlichen Einblicken und nahtloser Smartphone-Integration.
Arbeiten mit Llama 3

Top-p

  • Steuert die Wortauswahl nach Konfidenz

  • Hoher Top-p-Wert (z. B. nahe 1):

    • Mehr Varianz in den Antworten
      Bleib verbunden mit unserer schlanken Smartwatch – mit Fitness-Tracking,
Musik und anpassbaren Benachrichtigungen. Perfekt für Sportfans 
und Vielbeschäftigte.

  • Niedriger Top-p-Wert (z. B. nahe 0):

    • Weniger Variation
      Smartwatch mit Fitness-Tracking und Musikkontrolle – ideal fürs Training.
Arbeiten mit Llama 3

Max Tokens

  • Begrenzt die Antwortlänge

  • Anzahl der Tokens – Wortbausteine – in der Antwort

  • Niedriger max_tokens-Wert:

    Bleib verbunden mit unserer schlanken Smartwatch – mit Fitness-Tracking 
und Musikkontrolle.
  • Hoher max_tokens-Wert:
    Bleib verbunden mit unserer schlanken Smartwatch – mit Fitness-Tracking, 
Musikkontrolle, anpassbaren Benachrichtigungen und nahtloser Smartphone-
Integration. Überwache deine Gesundheit, verfolge deinen Fortschritt und erhalte 
Warnungen am Handgelenk. Perfekt für Fitnessfans.
Arbeiten mit Llama 3

Parameter kombinieren

llm = Llama(model_path="path/to/model.gguf")

output_concise = llm(
    "Describe an electric car.",

    temperature=0.2,

    top_k=1,

    top_p=0.4,

    max_tokens=20

)

Ein schnelles, umweltfreundliches E‑Auto mit großer Reichweite und modernster Technik.
Arbeiten mit Llama 3

Parameter kombinieren

output_creative = llm(
    "Describe an electric car.",

    temperature=0.8,

    top_k=10,

    top_p=0.9,

    max_tokens=100

)

Gleite in die Zukunft mit einem E‑Auto, das Tempo, Luxus 
und Nachhaltigkeit vereint. Leise, aber kraftvoll – es definiert die Straße neu ...
Arbeiten mit Llama 3

Lass uns üben!

Arbeiten mit Llama 3

Preparing Video For Download...