Trabalhando com diferentes parâmetros do modelo

Introdução ao Amazon Bedrock

Nikhil Rangarajan

Data Scientist

Parâmetros de modelos no Amazon Bedrock

  • Modelos têm parâmetros para controlar o comportamento

  • temperature: controla a aleatoriedade nas previsões

  • top_p: controla a diversidade incluindo tokens mais prováveis
  • max_tokens: define o comprimento máximo da saída

Um botão/dial circular de temperatura com uma seta verde curva apontando para ele, representando como parâmetros como temperatura podem ser ajustados para controlar a aleatoriedade nas saídas do Amazon Bedrock.

Introdução ao Amazon Bedrock

Temperatura

  • Aleatoriedade e criatividade da resposta

  • Temperatura baixa (próxima de 0): respostas mais focadas e determinísticas

  • Temperatura alta (próxima de 1): saídas mais diversas e criativas

  • A maioria dos modelos Bedrock usa 0,7 por padrão

prompt = "Write a headline for a 
          tech article"
request = {
    "temperature": 0.2,
    "messages": [
        {
            "role": "user",
            "content": [{"type": "text", 
                         "text": prompt}],
        }
    ],
    ...
}
Introdução ao Amazon Bedrock

Faixa de temperatura

  • Temperatura = “apetite ao risco” do modelo

  • Temperatura baixa age como um decisor cauteloso

    • Para tarefas como sumarização ou respostas factuais

  • Temperatura alta age como um pensador criativo que assume riscos

    • Para tarefas criativas como geração de histórias ou brainstorming

Um termômetro representando temperatura

Introdução ao Amazon Bedrock

Top_p

  • Top_p (nucleus sampling)
    • Ajuda a controlar a previsibilidade da saída
    • Define a probabilidade das palavras usadas
    • Faixa: 0,1 (focado) a 0,9 (diverso)
    • Ex.: top_p de 0,1 considera só os 10% mais prováveis das próximas palavras
prompt = "Explain quantum computing"

# Resposta focada
request["top_p"] = 0.1

# Resposta diversa
request["top_p"] = 0.9
Introdução ao Amazon Bedrock

Max tokens

  • Max_tokens limita o tamanho da resposta:

    • Para gerenciar custos, tamanho e desempenho
    • Valores típicos: 100–2000

    Duas bolhas de fala em fundo cinza — uma vazia e outra cheia de texto aleatório — ilustrando o conceito de comprimento máximo de tokens em modelos de linguagem, onde respostas podem ser limitadas a um certo tamanho.

prompt = "Explain quantum computing"

# Resposta curta e focada
request["top_p"] = 0.1
request["max_tokens"] = 100

# Resposta longa e diversa
request["top_p"] = 0.9
request["max_tokens"] = 500
Introdução ao Amazon Bedrock

Seleção de parâmetros

  • Geração de conteúdo: Temperatura alta (0,7–0,9)
  • Sistemas de perguntas e respostas: Temperatura baixa (0,1–0,3)
  • Documentação: top_p baixo (0,1–0,3)
  • Brainstorming: top_p alto (0,7–0,9)
  • Apps de chat: max_tokens moderado (150–300)
  • Conteúdo longo: max_tokens alto (1000+)

Um painel de controle digital com mostrador tipo velocímetro, botões e knobs, representando os vários parâmetros ajustáveis ao trabalhar com modelos de linguagem no Amazon Bedrock. Painel moderno com iluminação azul.

Introdução ao Amazon Bedrock

Vamos praticar!

Introdução ao Amazon Bedrock

Preparing Video For Download...