Lucrul cu diferiți parametri ai modelului

Introducere în Amazon Bedrock

Nikhil Rangarajan

Data Scientist

Parametrii modelelor în Amazon Bedrock

  • Modelele au parametri pentru a controla comportamentul

  • temperature: Controlează aleatoriul predicțiilor

  • top_p: Controlează diversitatea ieșirii prin includerea tokenilor de top
  • max_tokens: Stabilește lungimea maximă a ieșirii

Un cadran de temperatură circular cu o săgeată verde curbată îndreptată spre el, reprezentând modul în care parametri precum temperatura pot fi ajustați pentru a controla aleatoriul ieșirilor modelului în Amazon Bedrock.

Introducere în Amazon Bedrock

Temperatura

  • Aleatoriu și creativitate în răspunsuri

  • Temperatură scăzută (aproape de 0): Răspunsuri mai focalizate, deterministe

  • Temperatură ridicată (aproape de 1): Ieșiri mai diverse și creative

  • Majoritatea modelelor Bedrock au valoarea implicită 0.7

prompt = "Write a headline for a 
          tech article"
request = {
    "temperature": 0.2,
    "messages": [
        {
            "role": "user",
            "content": [{"type": "text", 
                         "text": prompt}],
        }
    ],
    ...
}
Introducere în Amazon Bedrock

Intervalul temperaturii

  • Temperatura = „apetitul pentru risc" al modelului

  • Temperatura scăzută acționează ca un factor de decizie prudent

    • Pentru sarcini precum rezumare sau răspunsuri bazate pe fapte

  • Temperatura ridicată se comportă ca un gânditor creativ dispus să riște

    • Pentru sarcini creative precum generarea de povești sau brainstorming

Un termometru reprezentând temperatura

Introducere în Amazon Bedrock

Top_p

  • Top_p (eșantionare nucleu)
    • Controlează predictibilitatea ieșirii
    • Determină probabilitatea cuvintelor utilizate
    • Interval: 0.1 (focalizat) până la 0.9 (divers)
    • ex. - Un top_p de 0.1 înseamnă că modelul ia în calcul doar cel mai probabil 10% dintre cuvintele posibile
prompt = "Explain quantum computing"

# Focused response
request["top_p"] = 0.1

# Diverse response
request["top_p"] = 0.9
Introducere în Amazon Bedrock

Max tokens

  • Max_tokens limitează lungimea răspunsului:

    • Pentru gestionarea costurilor, dimensiunii răspunsului și performanței
    • Valori tipice: 100-2000

    Două bule de dialog pe fundal gri — una goală și una plină cu text aleatoriu, ilustrând conceptul de lungime maximă a tokenilor în modelele lingvistice, unde răspunsurile pot fi limitate la o anumită dimensiune.

prompt = "Explain quantum computing"

# Focused shorter response
request["top_p"] = 0.1
request["max_tokens"] = 100

# Diverse longer response
request["top_p"] = 0.9
request["max_tokens"] = 500
Introducere în Amazon Bedrock

Selecția parametrilor

  • Generare de conținut: temperatură ridicată (0.7-0.9)
  • Sisteme Q&A: temperatură scăzută (0.1-0.3)
  • Documentație: top_p scăzut (0.1-0.3)
  • Brainstorming: top_p ridicat (0.7-0.9)
  • Aplicații de chat: max_tokens moderat (150-300)
  • Conținut de lungime mare: max_tokens ridicat (1000+)

Un panou de control digital cu afișaj tip vitezometru, butoane și comutatoare, reprezentând diferiții parametri reglabili ai modelelor lingvistice în Amazon Bedrock. Panoul are un design modern, cu iluminare albastră.

Introducere în Amazon Bedrock

Să exersăm!

Introducere în Amazon Bedrock

Preparing Video For Download...