Lavorare con diversi parametri del modello

Introduzione ad Amazon Bedrock

Nikhil Rangarajan

Data Scientist

Parametri dei modelli in Amazon Bedrock

I modelli hanno parametri per controllarne il comportamento
temperature: controlla la casualità delle previsioni
top_p: controlla la diversità includendo i token più probabili
max_tokens: imposta la lunghezza massima dell’output

Una manopola circolare della temperatura con una freccia verde curva che la indica, a rappresentare come parametri come la temperatura regolano la casualità negli output dei modelli di Amazon Bedrock.

Temperature

Casualità e creatività della risposta
Bassa temperatura (vicina a 0): risposte più focalizzate e deterministiche
Alta temperatura (vicina a 1): output più vari e creativi
La maggior parte dei modelli Bedrock predefinisce 0,7

prompt = "Write a headline for a 
          tech article"
request = {
    "temperature": 0.2,
    "messages": [
        {
            "role": "user",
            "content": [{"type": "text", 
                         "text": prompt}],
        }
    ],
    ...
}

Intervallo della temperatura

La temperatura è la “propensione al rischio” del modello
Bassa temperatura: come un decisore prudente
- Per sintesi o risposte fattuali
Alta temperatura: come un pensatore creativo disposto a rischiare
- Per creatività: generazione di storie o brainstorming

Un termometro che rappresenta la temperatura

Top_p

Top_p (nucleus sampling)
- Aiuta a controllare la prevedibilità dell’output
- Determina la probabilità delle parole usate
- Intervallo: 0,1 (focalizzato)–0,9 (vario)
- es.: un top_p di 0,1 considera solo il 10% di parole più probabili

prompt = "Explain quantum computing"

# Focused response
request["top_p"] = 0.1

# Diverse response
request["top_p"] = 0.9

Max tokens

Max_tokens limita la lunghezza della risposta:
- Per gestire costi, dimensione e prestazioni
- Valori tipici: 100–2000

prompt = "Explain quantum computing"

# Focused shorter response
request["top_p"] = 0.1
request["max_tokens"] = 100

# Diverse longer response
request["top_p"] = 0.9
request["max_tokens"] = 500

Scelta dei parametri

Generazione di contenuti: temperatura alta (0,7–0,9)
Q&A: temperatura bassa (0,1–0,3)
Documentazione: top_p basso (0,1–0,3)
Brainstorming: top_p alto (0,7–0,9)
Chat: max_tokens moderato (150–300)
Testi lunghi: max_tokens alto (1000+)

Un pannello di controllo digitale con display tipo tachimetro, manopole e pulsanti, che rappresenta i vari parametri regolabili nei modelli linguistici in Amazon Bedrock. Design moderno con illuminazione blu.

Ayo berlatih!

Introduzione ad Amazon Bedrock