使用不同的模型参数

Amazon Bedrock 入门

Nikhil Rangarajan

Data Scientist

Amazon Bedrock 的模型参数

模型有可控其行为的参数
temperature：控制预测的随机性
top_p：通过仅含累计概率最高的 token 控制多样性
max_tokens：设置输出最大长度

一个环形温度旋钮，绿色弧形箭头指向它，表示可调整如 temperature 等参数以控制 Amazon Bedrock 的输出随机性。

Temperature

回复的随机性与创意度
低 temperature（接近 0）：更专注、确定性更强
高 temperature（接近 1）：更丰富、更有创意
多数 Bedrock 模型默认 0.7

prompt = "Write a headline for a 
          tech article"
request = {
    "temperature": 0.2,
    "messages": [
        {
            "role": "user",
            "content": [{"type": "text", 
                         "text": prompt}],
        }
    ],
    ...
}

Temperature 范围

Temperature = 模型的"风险偏好"
低 temperature 类似谨慎决策者
- 适用于摘要、基于事实的回答
高 temperature 类似愿意冒险的创意者
- 适用于故事生成、头脑风暴等创意任务

表示温度的温度计

Top_p

Top_p（核采样）
- 帮助控制输出可预测性
- 决定所用词的累计概率
- 范围：0.1（更集中）到 0.9（更多样）
- 例如：top_p=0.1 表示仅考虑最可能的前 10% 下一个词

prompt = "Explain quantum computing"

# Focused response
request["top_p"] = 0.1

# Diverse response
request["top_p"] = 0.9

Max tokens

Max_tokens 限制回复长度：
- 便于控制成本、输出大小并保持性能
- 常见取值：100–2000

prompt = "Explain quantum computing"

# Focused shorter response
request["top_p"] = 0.1
request["max_tokens"] = 100

# Diverse longer response
request["top_p"] = 0.9
request["max_tokens"] = 500

参数选择

内容生成：较高 temperature（0.7–0.9）
问答：较低 temperature（0.1–0.3）
文档：较低 top_p（0.1–0.3）
头脑风暴：较高 top_p（0.7–0.9）
聊天应用：中等 max_tokens（150–300）
长文：较高 max_tokens（1000+）

一个带速度表、旋钮和按钮的数字控制面板，表示在 Amazon Bedrock 中可调的语言模型参数。面板设计现代，蓝色背光。

Passons à la pratique !

Amazon Bedrock 入门