Trabajar con distintos parámetros del modelo

Introducción a Amazon Bedrock

Nikhil Rangarajan

Data Scientist

Parámetros de modelos en Amazon Bedrock

  • Los modelos tienen parámetros para controlar su comportamiento

  • temperature: controla la aleatoriedad de las predicciones

  • top_p: controla la diversidad incluyendo los tokens mejor clasificados
  • max_tokens: fija la longitud máxima de la salida

Un dial circular de temperatura con una flecha verde curva señalándolo, representando cómo parámetros como la temperatura ajustan la aleatoriedad en las salidas de Amazon Bedrock.

Introducción a Amazon Bedrock

Temperatura

  • Aleatoriedad y creatividad de la respuesta

  • Temperatura baja (cerca de 0): respuestas más enfocadas y deterministas

  • Temperatura alta (cerca de 1): salidas más diversas y creativas

  • La mayoría de modelos de Bedrock usan 0.7 por defecto

prompt = "Write a headline for a 
          tech article"
request = {
    "temperature": 0.2,
    "messages": [
        {
            "role": "user",
            "content": [{"type": "text", 
                         "text": prompt}],
        }
    ],
    ...
}
Introducción a Amazon Bedrock

Rango de temperatura

  • La temperatura es el “apetito de riesgo” del modelo

  • Baja temperatura: decide con cautela

    • Para resumir o responder con hechos

  • Alta temperatura: piensa creativo y asume riesgos

    • Para tareas creativas como generar historias o idear

Un termómetro que representa la temperatura

Introducción a Amazon Bedrock

Top_p

  • Top_p (muestreo por núcleo)
    • Controla la previsibilidad de la salida
    • Determina la probabilidad de las palabras usadas
    • Rango: 0.1 (enfocado) a 0.9 (diverso)
    • p. ej., top_p = 0.1 hace que el modelo solo considere el 10% más probable de las siguientes palabras
prompt = "Explain quantum computing"

# Focused response
request["top_p"] = 0.1

# Diverse response
request["top_p"] = 0.9
Introducción a Amazon Bedrock

Max tokens

  • Max_tokens limita la longitud de la respuesta:

    • Para gestionar costes, tamaño y rendimiento
    • Valores típicos: 100-2000

    Dos bocadillos sobre fondo gris: uno vacío y otro lleno de texto aleatorio, ilustrando que los modelos pueden limitar el tamaño máximo de tokens en sus respuestas.

prompt = "Explain quantum computing"

# Focused shorter response
request["top_p"] = 0.1
request["max_tokens"] = 100

# Diverse longer response
request["top_p"] = 0.9
request["max_tokens"] = 500
Introducción a Amazon Bedrock

Selección de parámetros

  • Generación de contenido: temperatura alta (0.7-0.9)
  • Sistemas de preguntas y respuestas: temperatura baja (0.1-0.3)
  • Documentación: top_p bajo (0.1-0.3)
  • Lluvia de ideas: top_p alto (0.7-0.9)
  • Apps de chat: max_tokens moderado (150-300)
  • Contenido largo: max_tokens alto (1000+)

Un panel de control digital con un velocímetro, mandos y botones, que representa los parámetros ajustables al trabajar con modelos de lenguaje en Amazon Bedrock. Diseño moderno con luz azul.

Introducción a Amazon Bedrock

¡Vamos a practicar!

Introducción a Amazon Bedrock

Preparing Video For Download...