Werken met verschillende modelparameters

Introductie tot Amazon Bedrock

Nikhil Rangarajan

Data Scientist

Modelparameters in Amazon Bedrock

  • Modellen hebben parameters om hun gedrag te sturen

  • temperature: bepaalt de willekeur in voorspellingen

  • top_p: bepaalt de diversiteit via top-gerankte tokens
  • max_tokens: stelt de maximale uitputlengte in

Een ronde temperatuurknop met een groene pijl, die aangeeft hoe parameters zoals temperatuur de willekeur van Amazon Bedrock-uitvoer sturen.

Introductie tot Amazon Bedrock

Temperatuur

  • Willekeur en creativiteit van antwoorden

  • Lage temperatuur (rond 0): meer gefocust, deterministisch

  • Hoge temperatuur (rond 1): diverser, creatiever

  • Meeste Bedrock-modellen staan standaard op 0,7

prompt = "Write a headline for a 
          tech article"
request = {
    "temperature": 0.2,
    "messages": [
        {
            "role": "user",
            "content": [{"type": "text", 
                         "text": prompt}],
        }
    ],
    ...
}
Introductie tot Amazon Bedrock

Het temperatuurbereik

  • Temperatuur = ‘risicobereidheid’ van het model

  • Lage temperatuur: gedraagt zich als een voorzichtige beslisser

    • Voor samenvatten of feitelijke antwoorden

  • Hoge temperatuur: gedraagt zich als een creatieve denker die risico neemt

    • Voor creatieve taken zoals verhalen of brainstormen

Een thermometer die temperatuur weergeeft

Introductie tot Amazon Bedrock

Top_p

  • Top_p (nucleus sampling)
    • Helpt de voorspelbaarheid te sturen
    • Bepaalt kansverdeling van woorden
    • Bereik: 0,1 (gericht) tot 0,9 (divers)
    • vb: top_p van 0,1 neemt alleen de meest waarschijnlijke 10% volgende woorden mee
prompt = "Explain quantum computing"

# Focused response
request["top_p"] = 0.1

# Diverse response
request["top_p"] = 0.9
Introductie tot Amazon Bedrock

Max tokens

  • Max_tokens beperkt de lengte van het antwoord:

    • Voor kostenbeheer, antwoordgrootte en performance
    • Typische waarden: 100–2000

    Twee tekstballonnen tegen een grijze achtergrond – één leeg en één gevuld met willekeurige tekst, ter illustratie van de maximale tokenlengte waarbij antwoorden tot een bepaalde grootte beperkt kunnen worden.

prompt = "Explain quantum computing"

# Focused shorter response
request["top_p"] = 0.1
request["max_tokens"] = 100

# Diverse longer response
request["top_p"] = 0.9
request["max_tokens"] = 500
Introductie tot Amazon Bedrock

Parameters kiezen

  • Contentgeneratie: hogere temperatuur (0,7–0,9)
  • Q&A-systemen: lagere temperatuur (0,1–0,3)
  • Documentatie: lagere top_p (0,1–0,3)
  • Brainstormen: hogere top_p (0,7–0,9)
  • Chatapps: middelhoge max_tokens (150–300)
  • Lange content: hogere max_tokens (1000+)

Een digitaal bedieningspaneel met een snelheidsmeter, knoppen en draaiknoppen, dat de instelbare parameters voor taalmodellen in Amazon Bedrock voorstelt. Het paneel heeft een modern design met blauwe achtergrondverlichting.

Introductie tot Amazon Bedrock

Laten we oefenen!

Introductie tot Amazon Bedrock

Preparing Video For Download...