使用不同模型參數

Amazon Bedrock 入門

Nikhil Rangarajan

Data Scientist

Amazon Bedrock 的模型參數

  • 模型有參數可控制其行為

  • temperature：控制輸出隨機性

  • top_p：以前排名代幣控制輸出多樣性
  • max_tokens：設定輸出最長長度

一個圓形溫度旋鈕，綠色弧形箭頭指向它，表示可調整如 temperature 等模型參數來控制 Amazon Bedrock 模型輸出的隨機性。

Amazon Bedrock 入門

Temperature

  • 回應的隨機性與創意

  • 低 temperature（接近 0）：更聚焦、可重現

  • 高 temperature（接近 1）：更發散、具創意

  • 多數 Bedrock 模型預設為 0.7

prompt = "Write a headline for a 
          tech article"
request = {
    "temperature": 0.2,
    "messages": [
        {
            "role": "user",
            "content": [{"type": "text", 
                         "text": prompt}],
        }
    ],
    ...
}
Amazon Bedrock 入門

Temperature 的範圍

  • Temperature＝模型的「風險偏好」

  • 低 temperature 像謹慎決策者

    • 適合摘要或事實型回答

  • 高 temperature 像願意嘗試的創意思考者

    • 適合創意任務，如故事生成、腦力激盪

代表 temperature 的溫度計圖示

Amazon Bedrock 入門

Top_p

  • Top_p（nucleus sampling）
    • 協助控制輸出可預測性
    • 決定採用詞的機率門檻
    • 範圍：0.1（聚焦）到 0.9（多樣）
    • 例如：top_p 為 0.1 表示模型只考慮最可能的前 10% 下一個詞
prompt = "Explain quantum computing"

# Focused response
request["top_p"] = 0.1

# Diverse response
request["top_p"] = 0.9
Amazon Bedrock 入門

Max tokens

  • Max_tokens 限制作答長度：

    • 用於控管成本、輸出大小與效能
    • 常見值：100-2000

    灰色背景上的兩個對話框圖示——一個空白、一個充滿隨機文字，用以說明語言模型可限制回應長度（最大 token 數）的概念。

prompt = "Explain quantum computing"

# Focused shorter response
request["top_p"] = 0.1
request["max_tokens"] = 100

# Diverse longer response
request["top_p"] = 0.9
request["max_tokens"] = 500
Amazon Bedrock 入門

參數選擇

  • 內容生成：較高 temperature（0.7-0.9）
  • 問答系統：較低 temperature（0.1-0.3）
  • 文件撰寫：較低 top_p（0.1-0.3）
  • 腦力激盪：較高 top_p（0.7-0.9）
  • 聊天應用：中等 max_tokens（150-300）
  • 長篇內容：較高 max_tokens（1000+）

一個數位控制面板或儀表板，含速度計樣式顯示、旋鈕與按鈕，代表在 Amazon Bedrock 中可調整的多種語言模型參數。面板設計現代並帶有藍色背光。

Amazon Bedrock 入門

一起來練習吧！

Amazon Bedrock 入門

Preparing Video For Download...