さまざまなモデルパラメータの活用

Amazon Bedrock入門

Nikhil Rangarajan

Data Scientist

Amazon Bedrock のモデルパラメータ

モデルは動作を制御するパラメータを持つ
temperature: 予測のランダム性を調整
top_p: 上位トークンに限定して多様性を調整
max_tokens: 出力の最大長を設定

温度ダイヤルに曲線の緑の矢印が指す画像。Amazon Bedrock のモデル出力のランダム性を temperature で調整できることを示す。

Temperature

応答のランダム性と創造性
低温度（0付近）: 集中し決定的な応答
高温度（1付近）: 多様で創造的な出力
多くの Bedrock モデルの既定値は 0.7

prompt = "Write a headline for a 
          tech article"
request = {
    "temperature": 0.2,
    "messages": [
        {
            "role": "user",
            "content": [{"type": "text", 
                         "text": prompt}],
        }
    ],
    ...
}

Temperature の範囲

Temperature = モデルの「リスク許容度」
低温度は慎重な意思決定者のように振る舞う
- 要約や事実ベース回答に適する
高温度は創造的でリスクを取る思考に近い
- 物語生成やブレインストーミングに適する

温度計で temperature を表す

Top_p

Top_p（核サンプリング）
- 出力の予測可能性を調整
- 使用する語の確率分布を制御
- 範囲: 0.1（集中）〜0.9（多様）
- 例: top_p=0.1 は最尤な次語上位10%のみ考慮

prompt = "Explain quantum computing"

# Focused response
request["top_p"] = 0.1

# Diverse response
request["top_p"] = 0.9

Max tokens

max_tokens は応答の長さを制限:
- コスト・サイズ・性能の管理に有用
- 代表値: 100〜2000

prompt = "Explain quantum computing"

# Focused shorter response
request["top_p"] = 0.1
request["max_tokens"] = 100

# Diverse longer response
request["top_p"] = 0.9
request["max_tokens"] = 500

パラメータの選択

生成系: 高めの temperature（0.7〜0.9）
Q&A: 低めの temperature（0.1〜0.3）
ドキュメント: 低めの top_p（0.1〜0.3）
ブレインストーミング: 高めの top_p（0.7〜0.9）
チャット: 中程度の max_tokens（150〜300）
長文: 高めの max_tokens（1000+）

スピードメーター風の表示やノブ、ボタンを備えたデジタル操作パネル。Amazon Bedrock の言語モデルで調整可能な各種パラメータを表す、青いバックライトの近未来的デザイン。

演習に進みましょう！

Amazon Bedrock入門