Práce s různými parametry modelu

Úvod do Amazon Bedrock

Nikhil Rangarajan

Data Scientist

Parametry modelů v Amazon Bedrock

  • Modely mají parametry pro řízení jejich chování

  • temperature: Řídí náhodnost předpovědí

  • top_p: Řídí různorodost výstupu pomocí nejvýše hodnocených tokenů
  • max_tokens: Nastavuje maximální délku výstupu

Kruhový termostat se zelenou šipkou, reprezentující nastavení parametru teploty pro řízení náhodnosti výstupů modelu v Amazon Bedrock.

Úvod do Amazon Bedrock

Teplota

  • Náhodnost a kreativita odpovědí

  • Nízká teplota (blízko 0): Zaměřenější, deterministické odpovědi

  • Vysoká teplota (blízko 1): Různorodější, kreativní výstupy

  • Většina modelů Bedrock má výchozí hodnotu 0,7

prompt = "Write a headline for a 
          tech article"
request = {
    "temperature": 0.2,
    "messages": [
        {
            "role": "user",
            "content": [{"type": "text", 
                         "text": prompt}],
        }
    ],
    ...
}
Úvod do Amazon Bedrock

Rozsah teploty

  • Teplota = „chuť modelu riskovat"

  • Nízká teplota funguje jako opatrný rozhodovatel

    • Pro úlohy jako sumarizace nebo faktické odpovědi

  • Vysoká teplota se chová jako kreativní myslitel ochotný riskovat

    • Pro kreativní úlohy jako tvorba příběhů nebo brainstorming

Teploměr reprezentující teplotu

Úvod do Amazon Bedrock

Top_p

  • Top_p (výběr z jádra)
    • Řídí předvídatelnost výstupu
    • Určuje pravděpodobnost použitých slov
    • Rozsah: 0,1 (zaměřené) až 0,9 (různorodé)
    • Např. top_p = 0,1 znamená, že model uvažuje jen nejpravděpodobnějších 10 % možných dalších slov
prompt = "Explain quantum computing"

# Focused response
request["top_p"] = 0.1

# Diverse response
request["top_p"] = 0.9
Úvod do Amazon Bedrock

Max tokens

  • Max_tokens omezuje délku odpovědi:

    • Pro řízení nákladů, velikosti odpovědi a výkonu
    • Typické hodnoty: 100–2000

    Dvě bubliny řeči na šedém pozadí – jedna prázdná a jedna vyplněná textem, ilustrující koncept maximální délky tokenů v jazykových modelech.

prompt = "Explain quantum computing"

# Focused shorter response
request["top_p"] = 0.1
request["max_tokens"] = 100

# Diverse longer response
request["top_p"] = 0.9
request["max_tokens"] = 500
Úvod do Amazon Bedrock

Výběr parametrů

  • Generování obsahu: vyšší teplota (0,7–0,9)
  • Systémy Q&A: nižší teplota (0,1–0,3)
  • Dokumentace: nižší top_p (0,1–0,3)
  • Brainstorming: vyšší top_p (0,7–0,9)
  • Chatovací aplikace: střední max_tokens (150–300)
  • Dlouhý obsah: vyšší max_tokens (1000+)

Digitální ovládací panel s rychloměrem, otočnými ovladači a tlačítky, reprezentující různé parametry nastavitelné při práci s jazykovými modely v Amazon Bedrock.

Úvod do Amazon Bedrock

Pojďme si procvičit!

Úvod do Amazon Bedrock

Preparing Video For Download...