Travailler avec différents paramètres de modèle

Introduction à Amazon Bedrock

Nikhil Rangarajan

Data Scientist

Paramètres de modèles dans Amazon Bedrock

  • Les modèles ont des paramètres pour contrôler leur comportement

  • temperature : contrôle l’aléatoire des prédictions

  • top_p : contrôle la diversité en incluant les tokens les mieux classés
  • max_tokens : fixe la longueur maximale de la sortie

Un cadran de température circulaire avec une flèche verte courbe, représentant l’ajustement de paramètres comme la température pour contrôler l’aléatoire des sorties d’Amazon Bedrock.

Introduction à Amazon Bedrock

Température

  • Aléatoire et créativité des réponses

  • Basse température (proche de 0) : réponses plus ciblées et déterministes

  • Haute température (proche de 1) : sorties plus diverses et créatives

  • Valeur par défaut de la plupart des modèles Bedrock : 0,7

prompt = "Write a headline for a 
          tech article"
request = {
    "temperature": 0.2,
    "messages": [
        {
            "role": "user",
            "content": [{"type": "text", 
                         "text": prompt}],
        }
    ],
    ...
}
Introduction à Amazon Bedrock

Plage de température

  • La température = « appétence au risque » du modèle

  • Basse température : comme une décision prudente

    • Pour résumer ou répondre à des faits

  • Haute température : comme une pensée créative qui prend des risques

    • Pour des tâches créatives : génération d’histoires, brainstorming

Un thermomètre représentant la température

Introduction à Amazon Bedrock

Top_p

  • Top_p (échantillonnage noyau)
    • Aide à contrôler la prévisibilité de la sortie
    • Détermine la probabilité des mots utilisés
    • Plage : 0,1 (ciblé) à 0,9 (divers)
    • ex. : un top_p de 0,1 signifie que le modèle ne considère que les 10 % de mots suivants les plus probables
prompt = "Explain quantum computing"

# Focused response
request["top_p"] = 0.1

# Diverse response
request["top_p"] = 0.9
Introduction à Amazon Bedrock

Max tokens

  • Max_tokens limite la longueur de la réponse :

    • Pour gérer les coûts, la taille et les performances
    • Valeurs typiques : 100–2000

    Deux bulles de dialogue sur fond gris : l’une vide et l’autre remplie de texte aléatoire, illustrant la limite maximale de jetons qui restreint la taille des réponses des modèles de langage.

prompt = "Explain quantum computing"

# Focused shorter response
request["top_p"] = 0.1
request["max_tokens"] = 100

# Diverse longer response
request["top_p"] = 0.9
request["max_tokens"] = 500
Introduction à Amazon Bedrock

Choisir les paramètres

  • Génération de contenu : température élevée (0,7–0,9)
  • Systèmes de Q/R : température basse (0,1–0,3)
  • Documentation : top_p bas (0,1–0,3)
  • Idéation : top_p élevé (0,7–0,9)
  • Applications de chat : max_tokens moyen (150–300)
  • Longs contenus : max_tokens élevé (1000+)

Un tableau de contrôle numérique avec un compteur type vitesse, des boutons et des molettes, représentant les paramètres ajustables des modèles de langage dans Amazon Bedrock. Design moderne avec rétroéclairage bleu.

Introduction à Amazon Bedrock

Passons à la pratique !

Introduction à Amazon Bedrock

Preparing Video For Download...