Travailler avec différents paramètres de modèle

Introduction à Amazon Bedrock

Nikhil Rangarajan

Data Scientist

Paramètres des modèles dans Amazon Bedrock

  • Les modèles ont des paramètres pour contrôler leur comportement

  • temperature : contrôle l'aléatoire des prédictions

  • top_p : contrôle la diversité en ne gardant que les jetons les mieux classés
  • max_tokens : fixe la longueur maximale de la sortie

Un cadran de température circulaire avec une flèche verte courbée pointant dessus, illustrant l'ajustement de paramètres comme la température pour contrôler l'aléatoire des sorties des modèles d'Amazon Bedrock.

Introduction à Amazon Bedrock

Temperature

  • Aléatoire et créativité des réponses

  • Basse température (près de 0) : réponses plus ciblées et déterministes

  • Haute température (près de 1) : sorties plus variées et créatives

  • La plupart des modèles Bedrock ont 0,7 par défaut

prompt = "Write a headline for a 
          tech article"
request = {
    "temperature": 0.2,
    "messages": [
        {
            "role": "user",
            "content": [{"type": "text", 
                         "text": prompt}],
        }
    ],
    ...
}
Introduction à Amazon Bedrock

L'éventail de la température

  • La température = « appétit pour le risque » du modèle

  • Basse température : agit comme une décision prudente

    • Pour des tâches comme le résumé ou les réponses factuelles

  • Haute température : agit comme une pensée créative prête à prendre des risques

    • Pour des tâches créatives comme la génération d'histoires ou l'idéation

Un thermomètre représentant la température

Introduction à Amazon Bedrock

Top_p

  • Top_p (échantillonnage par noyau)
    • Aide à contrôler la prévisibilité de la sortie
    • Détermine la probabilité des mots utilisés
    • Plage : 0,1 (ciblé) à 0,9 (varié)
    • p. ex. — un top_p de 0,1 signifie que le modèle ne considère que les 10 % de prochains mots les plus probables
prompt = "Explain quantum computing"

# Focused response
request["top_p"] = 0.1

# Diverse response
request["top_p"] = 0.9
Introduction à Amazon Bedrock

Max tokens

  • max_tokens limite la longueur de la réponse :

    • Pour gérer les coûts, la taille des sorties et maintenir la performance
    • Valeurs typiques : 100–2000

    Deux bulles de conversation sur fond gris — l'une vide et l'autre remplie de texte aléatoire — illustrant la longueur maximale de jetons où les réponses peuvent être limitées en taille.

prompt = "Explain quantum computing"

# Focused shorter response
request["top_p"] = 0.1
request["max_tokens"] = 100

# Diverse longer response
request["top_p"] = 0.9
request["max_tokens"] = 500
Introduction à Amazon Bedrock

Choisir les paramètres

  • Génération de contenu : température élevée (0,7–0,9)
  • Questions-réponses : température basse (0,1–0,3)
  • Documentation : top_p faible (0,1–0,3)
  • Idéation : top_p élevé (0,7–0,9)
  • Applis de clavardage : max_tokens moyen (150–300)
  • Contenu long : max_tokens élevé (1000+)

Un panneau de contrôle numérique avec cadran de type compteur, boutons et molettes, représentant les divers paramètres à ajuster avec les modèles linguistiques dans Amazon Bedrock. Le panneau a un style moderne avec rétroéclairage bleu.

Introduction à Amazon Bedrock

Passons à la pratique !

Introduction à Amazon Bedrock

Preparing Video For Download...