विभिन्न मॉडल पैरामीटर के साथ काम करना

Amazon Bedrock परिचय

Nikhil Rangarajan

Data Scientist

Amazon Bedrock में मॉडल पैरामीटर

  • मॉडलों में उनके व्यवहार को नियंत्रित करने के लिए पैरामीटर होते हैं

  • temperature: भविष्यवाणियों में रैंडमनेस नियंत्रित करता है

  • top_p: टॉप-रैंक्ड टोकन चुनकर आउटपुट की विविधता नियंत्रित करता है
  • max_tokens: आउटपुट की अधिकतम लंबाई सेट करता है

एक गोल तापमान डायल/नॉब, जिसकी ओर मुड़ा हुआ हरा तीर इशारा कर रहा है — दिखाता है कि Amazon Bedrock में temperature जैसे पैरामीटर से आउटपुट की रैंडमनेस कैसे बदली जा सकती है।

Amazon Bedrock परिचय

Temperature

  • प्रतिक्रिया की रैंडमनेस और क्रिएटिविटी

  • कम temperature (0 के पास): ज़्यादा फोकस्ड, निर्धारक प्रतिक्रियाएँ

  • अधिक temperature (1 के पास): ज़्यादा विविध, क्रिएटिव आउटपुट

  • अधिकतर Bedrock मॉडल का डिफ़ॉल्ट 0.7 होता है

prompt = "Write a headline for a 
          tech article"
request = {
    "temperature": 0.2,
    "messages": [
        {
            "role": "user",
            "content": [{"type": "text", 
                         "text": prompt}],
        }
    ],
    ...
}
Amazon Bedrock परिचय

Temperature की रेंज

  • Temperature = मॉडल की 'risk appetite'

  • कम temperature सावधान निर्णयकर्ता जैसा होता है

    • जैसे टास्क: सारांश या तथ्य-आधारित उत्तर
  • अधिक temperature रचनात्मक, जोखिम लेने वाला सोचकर्ता जैसा होता है

    • जैसे टास्क: कहानी बनाना या ब्रेनस्टॉर्मिंग

temperature दर्शाता एक थर्मामीटर

Amazon Bedrock परिचय

Top_p

  • Top_p (nucleus sampling)
    • आउटपुट की predictability नियंत्रित करने में मदद करता है
    • इस्तेमाल होने वाले शब्दों की probability तय करता है
    • रेंज: 0.1 (फोकस्ड) से 0.9 (diverse)
    • उदाहरण: top_p 0.1 होने पर मॉडल सिर्फ सबसे संभावित अगले शब्दों के टॉप 10% पर विचार करता है
prompt = "Explain quantum computing"

# Focused response
request["top_p"] = 0.1

# Diverse response
request["top_p"] = 0.9
Amazon Bedrock परिचय

Max tokens

  • max_tokens प्रतिक्रिया की लंबाई लिमिट करता है:

    • लागत, आकार, और परफॉर्मेंस मैनेज करने के लिए
    • सामान्य मान: 100-2000

    ग्रे बैकग्राउंड पर दो स्पीच बबल — एक खाली और एक रैंडम टेक्स्ट से भरा — दिखाते हैं कि भाषा मॉडल में अधिकतम टोकन लिमिट से प्रतिक्रिया का आकार कैसे सीमित होता है।

prompt = "Explain quantum computing"

# Focused shorter response
request["top_p"] = 0.1
request["max_tokens"] = 100

# Diverse longer response
request["top_p"] = 0.9
request["max_tokens"] = 500
Amazon Bedrock परिचय

पैरामीटर चयन

  • कंटेंट जनरेशन: उच्च temperature (0.7-0.9)
  • Q&A सिस्टम: कम temperature (0.1-0.3)
  • डॉक्यूमेंटेशन: कम top_p (0.1-0.3)
  • ब्रेनस्टॉर्मिंग: उच्च top_p (0.7-0.9)
  • चैट ऐप्स: मध्यम max_tokens (150-300)
  • लंबा कंटेंट: उच्च max_tokens (1000+)

एक डिजिटल कंट्रोल पैनल/डैशबोर्ड जिसमें स्पीडोमीटर-जैसा डिस्प्ले, नॉब्स और बटन हैं — दिखाता है कि Amazon Bedrock में भाषा मॉडलों के कई पैरामीटर कैसे एडजस्ट किए जा सकते हैं। पैनल का डिज़ाइन मॉडर्न है और नीली बैकलाइटिंग है।

Amazon Bedrock परिचय

अभ्यास करते हैं!

Amazon Bedrock परिचय

Preparing Video For Download...