Farklı model parametreleriyle çalışma

Amazon Bedrock'a Giriş

Nikhil Rangarajan

Data Scientist

Amazon Bedrock’ta model parametreleri

Modellerin davranışını kontrol eden parametreler vardır
temperature: Tahminlerde rastgeleliği kontrol eder
top_p: En üst sıralı belirteçleri dahil ederek çıktı çeşitliliğini kontrol eder
max_tokens: Çıktının azami uzunluğunu ayarlar

Dairesel bir sıcaklık kadranı veya düğmesi; Amazon Bedrock’ta temperature gibi parametrelerin çıktılardaki rastgeleliği nasıl ayarladığını temsil eder.

Temperature

Yanıt rastgeleliği ve yaratıcılığı
Düşük temperature (0’a yakın): Daha odaklı, belirgin yanıtlar
Yüksek temperature (1’e yakın): Daha çeşitli, yaratıcı çıktılar
Çoğu Bedrock modeli varsayılan olarak 0.7’dir

prompt = "Write a headline for a 
          tech article"
request = {
    "temperature": 0.2,
    "messages": [
        {
            "role": "user",
            "content": [{"type": "text", 
                         "text": prompt}],
        }
    ],
    ...
}

Temperature aralığı

Temperature = modelin “risk iştahı”
Düşük temperature, temkinli bir karar verici gibi davranır
- Özetleme veya olguya dayalı yanıtlar için
Yüksek temperature, risk alan yaratıcı bir düşünür gibi davranır
- Hikâye üretimi veya beyin fırtınası gibi yaratıcı işler için

Sıcaklığı temsil eden bir termometre

Top_p

Top_p (çekirdek örnekleme)
- Çıktı öngörülebilirliğini kontrol eder
- Kullanılan kelimelerin olasılığını belirler
- Aralık: 0.1 (odaklı)–0.9 (çeşitli)
- Örn: top_p=0.1, olası sonraki kelimelerin en olası %10’unu dikkate alır

prompt = "Explain quantum computing"

# Focused response
request["top_p"] = 0.1

# Diverse response
request["top_p"] = 0.9

Max tokens

Max_tokens yanıt uzunluğunu sınırlar:
- Maliyet, yanıt boyutu ve performans yönetimi için
- Tipik değerler: 100–2000

prompt = "Explain quantum computing"

# Focused shorter response
request["top_p"] = 0.1
request["max_tokens"] = 100

# Diverse longer response
request["top_p"] = 0.9
request["max_tokens"] = 500

Parametre seçimi

İçerik üretimi: Yüksek temperature (0.7–0.9)
Soru-Cevap: Düşük temperature (0.1–0.3)
Dokümantasyon: Düşük top_p (0.1–0.3)
Fikir üretimi: Yüksek top_p (0.7–0.9)
Sohbet uygulamaları: Orta max_tokens (150–300)
Uzun içerik: Yüksek max_tokens (1000+)

Hız göstergesine benzer ekran, düğmeler ve kollar içeren dijital bir kontrol paneli; Amazon Bedrock ile çalışırken ayarlanabilen dil modeli parametrelerini temsil eder. Panel modern, şık ve mavi arka aydınlatmalıdır.

Hadi pratik yapalım!

Amazon Bedrock'a Giriş