Работа с различными параметрами модели

Введение в Amazon Bedrock

Nikhil Rangarajan

Data Scientist

Параметры моделей в Amazon Bedrock

  • Параметры модели управляют её поведением

  • temperature: контролирует случайность предсказаний

  • top_p: управляет разнообразием вывода, выбирая токены с наибольшей вероятностью
  • max_tokens: задаёт максимальную длину ответа

Круговой регулятор температуры с зелёной стрелкой, символизирующий настройку параметра temperature для управления случайностью вывода модели в Amazon Bedrock.

Введение в Amazon Bedrock

Temperature

  • Случайность и креативность ответов

  • Низкая температура (близко к 0): более точные, детерминированные ответы

  • Высокая температура (близко к 1): более разнообразные, творческие результаты

  • Большинство моделей Bedrock используют значение по умолчанию 0.7

prompt = "Write a headline for a 
          tech article"
request = {
    "temperature": 0.2,
    "messages": [
        {
            "role": "user",
            "content": [{"type": "text", 
                         "text": prompt}],
        }
    ],
    ...
}
Введение в Amazon Bedrock

Диапазон значений temperature

  • Temperature — это «склонность к риску» модели

  • Низкая температура соответствует осторожному принятию решений

    • Подходит для резюмирования или фактических ответов

  • Высокая температура — творческий подход с готовностью к риску

    • Подходит для генерации историй или мозгового штурма

Термометр, символизирующий параметр temperature

Введение в Amazon Bedrock

Top_p

  • Top_p (nucleus sampling)
    • Управляет предсказуемостью вывода
    • Определяет вероятность выбора слов
    • Диапазон: от 0.1 (точно) до 0.9 (разнообразно)
    • Например, top_p = 0.1 означает, что модель рассматривает только 10% наиболее вероятных следующих слов
prompt = "Explain quantum computing"

# Focused response
request["top_p"] = 0.1

# Diverse response
request["top_p"] = 0.9
Введение в Amazon Bedrock

Max tokens

  • Max_tokens ограничивает длину ответа:

    • Управляет затратами, объёмом ответа и производительностью
    • Типичные значения: 100–2000

    Два речевых пузыря на сером фоне — один пустой, другой заполнен текстом, иллюстрируя ограничение длины ответа с помощью параметра max_tokens в языковых моделях.

prompt = "Explain quantum computing"

# Focused shorter response
request["top_p"] = 0.1
request["max_tokens"] = 100

# Diverse longer response
request["top_p"] = 0.9
request["max_tokens"] = 500
Введение в Amazon Bedrock

Выбор параметров

  • Генерация контента: высокая temperature (0.7–0.9)
  • Системы Q&A: низкая temperature (0.1–0.3)
  • Документация: низкий top_p (0.1–0.3)
  • Мозговой штурм: высокий top_p (0.7–0.9)
  • Чат-приложения: умеренный max_tokens (150–300)
  • Длинный контент: высокий max_tokens (1000+)

Цифровая панель управления со спидометром, регуляторами и кнопками, символизирующая настройку различных параметров языковых моделей в Amazon Bedrock. Панель выполнена в современном стиле с синей подсветкой.

Введение в Amazon Bedrock

Давайте потренируемся!

Введение в Amazon Bedrock

Preparing Video For Download...