Робота з різними параметрами моделей

Вступ до Amazon Bedrock

Nikhil Rangarajan

Data Scientist

Параметри моделей в Amazon Bedrock

У моделей є параметри для керування їхньою поведінкою
temperature: Керує випадковістю відповідей
top_p: Керує різноманітністю, беручи топові токени
max_tokens: Обмежує максимальну довжину відповіді

Круглий регулятор температури з вигнутою зеленою стрілкою, що показує, як параметри моделі на кшталт temperature можна налаштовувати для контролю випадковості виходів моделей в Amazon Bedrock.

Temperature

Випадковість і креативність відповідей
Низька temperature (близько 0): більш зосереджені, детерміновані відповіді
Висока temperature (близько 1): більш різноманітні, творчі виходи
У більшості моделей Bedrock типове значення 0.7

prompt = "Write a headline for a 
          tech article"
request = {
    "temperature": 0.2,
    "messages": [
        {
            "role": "user",
            "content": [{"type": "text", 
                         "text": prompt}],
        }
    ],
    ...
}

Діапазон temperature

Temperature = «схильність моделі до ризику»
Низька temperature — обережний «рішальник»
- Для задач на узагальнення чи фактичні відповіді
Висока temperature — творчий мислитель, що ризикує
- Для креативних завдань: генерування історій, брейнштормінг

Термометр, що позначає temperature

Top_p

Top_p (nucleus sampling)
- Допомагає керувати передбачуваністю виходу
- Визначає ймовірність слів, що використовуються
- Діапазон: 0.1 (зосереджено) до 0.9 (різноманітно)
- напр., top_p = 0.1 означає, що модель враховує лише найімовірніші 10% можливих наступних слів

prompt = "Explain quantum computing"

# Focused response
request["top_p"] = 0.1

# Diverse response
request["top_p"] = 0.9

Max tokens

max_tokens обмежує довжину відповіді:
- Щоб контролювати вартість, розмір відповіді та підтримувати продуктивність
- Типові значення: 100–2000

prompt = "Explain quantum computing"

# Focused shorter response
request["top_p"] = 0.1
request["max_tokens"] = 100

# Diverse longer response
request["top_p"] = 0.9
request["max_tokens"] = 500

Вибір параметрів

Генерація контенту: вища temperature (0.7–0.9)
Q&A системи: нижча temperature (0.1–0.3)
Документація: нижчий top_p (0.1–0.3)
Брейнштормінг: вищий top_p (0.7–0.9)
Чат-застосунки: помірний max_tokens (150–300)
Довгі тексти: вищий max_tokens (1000+)

Цифрова панель керування зі спідометром, регуляторами та кнопками, що відображає параметри, які можна налаштовувати під час роботи з мовними моделями в Amazon Bedrock. Панель має сучасний дизайн із блакитним підсвічуванням.

Давайте потренуємось!

Вступ до Amazon Bedrock