Praca z różnymi parametrami modelu

Wprowadzenie do Amazon Bedrock

Nikhil Rangarajan

Data Scientist

Parametry modeli w Amazon Bedrock

  • Modele mają parametry sterujące ich zachowaniem

  • temperature: Kontroluje losowość przewidywań

  • top_p: Kontroluje różnorodność wyników przez uwzględnienie najlepszych tokenów
  • max_tokens: Ustawia maksymalną długość wyników

Okrągły regulator temperatury z zieloną strzałką wskazującą na niego, reprezentujący możliwość dostosowania parametrów modelu, takich jak temperatura, w celu kontrolowania losowości wyników w Amazon Bedrock.

Wprowadzenie do Amazon Bedrock

Temperatura

  • Losowość i kreatywność odpowiedzi

  • Niska temperatura (bliska 0): bardziej skupione, deterministyczne odpowiedzi

  • Wysoka temperatura (bliska 1): bardziej różnorodne, kreatywne wyniki

  • Większość modeli Bedrock domyślnie używa 0.7

prompt = "Write a headline for a 
          tech article"
request = {
    "temperature": 0.2,
    "messages": [
        {
            "role": "user",
            "content": [{"type": "text", 
                         "text": prompt}],
        }
    ],
    ...
}
Wprowadzenie do Amazon Bedrock

Zakres temperatury

  • Temperatura = „apetyt na ryzyko" modelu

  • Niska temperatura działa jak ostrożny decydent

    • Do zadań takich jak streszczanie lub odpowiedzi oparte na faktach

  • Wysoka temperatura zachowuje się jak kreatywny myśliciel podejmujący ryzyko

    • Do zadań kreatywnych, takich jak pisanie historii czy burza mózgów

Termometr reprezentujący temperaturę

Wprowadzenie do Amazon Bedrock

Top_p

  • Top_p (próbkowanie jądrowe)
    • Kontroluje przewidywalność wyników
    • Określa prawdopodobieństwo użytych słów
    • Zakres: 0.1 (skupiony) do 0.9 (różnorodny)
    • np. Top_p = 0.1 oznacza, że model uwzględnia tylko 10% najbardziej prawdopodobnych kolejnych słów
prompt = "Explain quantum computing"

# Focused response
request["top_p"] = 0.1

# Diverse response
request["top_p"] = 0.9
Wprowadzenie do Amazon Bedrock

Max tokens

  • Max_tokens ogranicza długość odpowiedzi:

    • Zarządza kosztami, rozmiarem odpowiedzi i wydajnością
    • Typowe wartości: 100–2000

    Dwa kształty dymków na szarym tle – jeden pusty, drugi wypełniony losowym tekstem, ilustrujące koncepcję maksymalnej długości tokenów w modelach językowych.

prompt = "Explain quantum computing"

# Focused shorter response
request["top_p"] = 0.1
request["max_tokens"] = 100

# Diverse longer response
request["top_p"] = 0.9
request["max_tokens"] = 500
Wprowadzenie do Amazon Bedrock

Dobór parametrów

  • Generowanie treści: wyższa temperatura (0.7–0.9)
  • Systemy Q&A: niższa temperatura (0.1–0.3)
  • Dokumentacja: niższe top_p (0.1–0.3)
  • Burza mózgów: wyższe top_p (0.7–0.9)
  • Aplikacje czatu: umiarkowane max_tokens (150–300)
  • Długie treści: wyższe max_tokens (1000+)

Cyfrowy panel sterowania z wyświetlaczem przypominającym prędkościomierz, pokrętłami i przyciskami, reprezentujący różne parametry regulowane podczas pracy z modelami językowymi w Amazon Bedrock.

Wprowadzenie do Amazon Bedrock

Czas na ćwiczenia!

Wprowadzenie do Amazon Bedrock

Preparing Video For Download...