Mit verschiedenen Modellparametern arbeiten

Einführung in Amazon Bedrock

Nikhil Rangarajan

Data Scientist

Modellparameter in Amazon Bedrock

  • Modelle haben Parameter zur Steuerung ihres Verhaltens

  • temperature: Steuert Zufälligkeit der Vorhersagen

  • top_p: Steuert Vielfalt durch Auswahl der wahrscheinlichsten Tokens
  • max_tokens: Setzt die maximale Ausgabelänge

Ein runder Temperaturregler mit grünem Pfeil – zeigt, wie Parameter wie Temperature die Zufälligkeit in Amazon Bedrock steuern.

Einführung in Amazon Bedrock

Temperature

  • Zufälligkeit und Kreativität der Antwort

  • Niedrige Temperature (nahe 0): Fokussierter, deterministischer

  • Hohe Temperature (nahe 1): Diverser, kreativer

  • Meiste Bedrock-Modelle: Standard 0,7

prompt = "Write a headline for a 
          tech article"
request = {
    "temperature": 0.2,
    "messages": [
        {
            "role": "user",
            "content": [{"type": "text", 
                         "text": prompt}],
        }
    ],
    ...
}
Einführung in Amazon Bedrock

Der Temperaturbereich

  • Temperature = „Risikoneigung“ des Modells

  • Niedrige Temperature: handelt vorsichtig

    • Für Zusammenfassungen oder faktenbasierte Antworten

  • Hohe Temperature: verhält sich kreativer, risikofreudiger

    • Für kreative Aufgaben wie Story-Generierung oder Brainstorming

Ein Thermometer als Darstellung der Temperature

Einführung in Amazon Bedrock

Top_p

  • Top_p (Nucleus Sampling)
    • Steuert Vorhersagbarkeit
    • Bestimmt die Wahrscheinlichkeit genutzter Wörter
    • Bereich: 0,1 (fokussiert) bis 0,9 (divers)
    • z. B.: top_p von 0,1 berücksichtigt nur die wahrscheinlichsten 10 % der nächsten Wörter
prompt = "Explain quantum computing"

# Focused response
request["top_p"] = 0.1

# Diverse response
request["top_p"] = 0.9
Einführung in Amazon Bedrock

Max tokens

  • Max_tokens begrenzt die Antwortlänge:

    • Für Kosten, Antwortgröße und Performance-Steuerung
    • Typisch: 100–2000

    Zwei Sprechblasen auf grauem Hintergrund – eine leer, eine mit Text – verdeutlichen die maximale Tokenlänge, mit der Antworten auf eine bestimmte Größe begrenzt werden können.

prompt = "Explain quantum computing"

# Focused shorter response
request["top_p"] = 0.1
request["max_tokens"] = 100

# Diverse longer response
request["top_p"] = 0.9
request["max_tokens"] = 500
Einführung in Amazon Bedrock

Parameterauswahl

  • Content-Erstellung: Höhere Temperature (0,7–0,9)
  • Q&A-Systeme: Niedrige Temperature (0,1–0,3)
  • Dokumentation: Niedriger top_p (0,1–0,3)
  • Brainstorming: Höherer top_p (0,7–0,9)
  • Chat-Apps: Mittlere max_tokens (150–300)
  • Lange Inhalte: Höhere max_tokens (1000+)

Ein digitales Bedienfeld mit Tacho-Anzeige, Reglern und Tasten – steht für anpassbare Parameter in Sprachmodellen von Amazon Bedrock. Modernes Design mit blauer Beleuchtung.

Einführung in Amazon Bedrock

Lass uns üben!

Einführung in Amazon Bedrock

Preparing Video For Download...