Llama 3 のパラメータ調整

Llama 3 を使いこなす

Imtihan Ahmed

Machine Learning Engineer

パラメータの役割は？

from llama_cpp import Llama
llm = Llama(model_path="path/to/model.gguf")
output = llm("What are some ways to improve customer retention?")

品質・ランダム性・長さを調整

パラメータの役割は？

例: 商品説明の生成

→ 事実ベースで簡潔に

ライフスタイル重視のサイト

→ 魅力的でクリエイティブに

Llama 3 のデコーディング・パラメータ

Llama の挙動を調整

トーンに合わせてデコーディング・パラメータを設定

生の出力を読みやすい文章に変換

パラメータで Llama の挙動を調整

Llama 3 のデコーディング・パラメータ

Temperature: ランダム性を制御
Top-K: 最尤の候補にトークン選択を制限
Top-P: 累積確率に基づき選択を調整
Max tokens: 応答の長さを制限

Screenshot 2025-02-26 at 12.51.27.png

温度 (Temperature)

通常は 0〜1 の値

低温度（例: 0 付近）:

予測可能な応答

心拍計、GPS、長持ちバッテリーを備え、終日トラッキングできるスマートウォッチ。

高温度（例: 1 付近）:

- クリエイティブな応答

手首のパーソナルコーチ。鼓動も一歩も冒険も、限りなく記録。

Top-k

Llama が選べる最有力語の数を制限

低い k 値（例: 1）:

予測可能な応答

フィットネス計測、音楽再生、通知を備えたスリムなスマートウォッチ。

高い k 値（例: 50）:

多様な応答

次世代のスマートウォッチ。フィットネス計測、音楽、カスタム通知、個別インサイト、スマホ連携を常時シームレスに。

Top-p

確信度に基づき出力語の選択を制御

高い top-p 値（例: 1 付近）:

応答が多様

フィットネス計測、音楽、カスタム通知を備えたスリムなスマートウォッチ。フィットネス愛好家や忙しいプロに最適。

低い top-p 値（例: 0 付近）:
- 変化が少ない

フィットネス計測と音楽操作に対応した、ワークアウト向けスマートウォッチ。

最大トークン数 (Max tokens)

応答の長さを制限
応答内のトークン（語の単位）の数

低い max_tokens 値:

フィットネス計測と音楽操作に対応したスリムなスマートウォッチ。

高い max_tokens 値:

フィットネス計測、音楽操作、カスタム通知、スマホ連携を備えたスリムなスマートウォッチ。健康を見守り、進捗を記録し、手首で通知を受け取れます。フィットネス愛好家に最適。

複数パラメータの組み合わせ

llm = Llama(model_path="path/to/model.gguf")

output_concise = llm(
    "Describe an electric car.",

    temperature=0.2,

    top_k=1,

    top_p=0.4,

    max_tokens=20

)

高速で環境に優しく、長距離走行と先進技術を備えた電気自動車。

複数パラメータの組み合わせ

output_creative = llm(
    "Describe an electric car.",

    temperature=0.8,

    top_k=10,

    top_p=0.9,

    max_tokens=100

)

未来へ滑るように進む、速さ・上質さ・持続可能性を融合した電気自動車。静かで力強く、走りを再定義する…

¡Vamos a practicar!

Llama 3 を使いこなす