Arbeta med olika modellparametrar

Introduktion till Amazon Bedrock

Nikhil Rangarajan

Data Scientist

Modellparametrar i Amazon Bedrock

Modeller har parametrar som styr deras beteende
temperature: Styr slumpmässigheten i förutsägelserna
top_p: Styr variationen i modellens utdata genom att inkludera de högst rankade tokens
max_tokens: Anger den maximala längden på utdata

En cirkulär temperaturreglage med en grön böjd pil som pekar mot den, vilket illustrerar hur modellparametrar som temperature kan justeras för att styra slumpmässigheten i Amazon Bedrocks modellutdata.

Temperature

Slumpmässighet och kreativitet i svar
Låg temperatur (nära 0): Mer fokuserade, deterministiska svar
Hög temperatur (nära 1): Mer varierade, kreativa utdata
De flesta Bedrock-modeller har standardvärdet 0,7

prompt = "Write a headline for a 
          tech article"
request = {
    "temperature": 0.2,
    "messages": [
        {
            "role": "user",
            "content": [{"type": "text", 
                         "text": prompt}],
        }
    ],
    ...
}

Temperaturskalan

Temperature = modellens "risktolerans"
Låg temperatur fungerar som ett försiktigt beslutsfattande
- För uppgifter som sammanfattning eller faktabaserade svar
Hög temperatur fungerar som ett kreativt tänkande som vågar ta risker
- För kreativa uppgifter som berättelseskapande eller idégenerering

En termometer som representerar temperature

Top_p

Top_p (nucleus sampling)
- Hjälper till att styra förutsägbarheten i utdata
- Bestämmer sannolikheten för vilka ord som används
- Intervall: 0,1 (fokuserat) till 0,9 (varierat)
- T.ex. innebär top_p = 0,1 att modellen bara beaktar de 10 % mest sannolika nästa orden

prompt = "Explain quantum computing"

# Focused response
request["top_p"] = 0.1

# Diverse response
request["top_p"] = 0.9

Max tokens

Max_tokens begränsar svarets längd:
- För att hantera kostnader, svarsstorlek och bibehålla prestanda
- Typiska värden: 100–2 000

prompt = "Explain quantum computing"

# Focused shorter response
request["top_p"] = 0.1
request["max_tokens"] = 100

# Diverse longer response
request["top_p"] = 0.9
request["max_tokens"] = 500

Val av parametrar

Innehållsgenerering: Högre temperature (0,7–0,9)
Fråga-och-svar-system: Lägre temperature (0,1–0,3)
Dokumentation: Lägre top_p (0,1–0,3)
Idégenerering: Högre top_p (0,7–0,9)
Chattapplikationer: Måttlig max_tokens (150–300)
Långformat innehåll: Högre max_tokens (1 000+)

En digital kontrollpanel med en hastighetsmätarliknande display, rattar och knappar, som representerar de olika parametrar som kan justeras när man arbetar med språkmodeller i Amazon Bedrock. Panelen har en modern, stilren design med blå bakgrundsbelysning.

Nu kör vi en övning!

Introduktion till Amazon Bedrock