การทำงานกับพารามิเตอร์ของโมเดล

Amazon Bedrock เบื้องต้น

Nikhil Rangarajan

Data Scientist

พารามิเตอร์ของโมเดลใน Amazon Bedrock

โมเดลมีพารามิเตอร์สำหรับควบคุมพฤติกรรม
temperature: ควบคุมความสุ่มในการทำนาย
top_p: ควบคุมความหลากหลายของผลลัพธ์โดยเลือก token ที่มีความน่าจะเป็นสูงสุด
max_tokens: กำหนดความยาวสูงสุดของผลลัพธ์

ปุ่มหมุนควบคุมอุณหภูมิรูปวงกลมพร้อมลูกศรสีเขียวชี้ไป แสดงถึงการปรับพารามิเตอร์ temperature เพื่อควบคุมความสุ่มในผลลัพธ์ของโมเดลใน Amazon Bedrock

Temperature

ความสุ่มและความสร้างสรรค์ของการตอบสนอง
Temperature ต่ำ (ใกล้ 0): ผลลัพธ์มีความแน่นอนและเจาะจงมากขึ้น
Temperature สูง (ใกล้ 1): ผลลัพธ์หลากหลายและสร้างสรรค์มากขึ้น
โมเดลส่วนใหญ่ใน Bedrock ใช้ค่าเริ่มต้นที่ 0.7

prompt = "Write a headline for a 
          tech article"
request = {
    "temperature": 0.2,
    "messages": [
        {
            "role": "user",
            "content": [{"type": "text", 
                         "text": prompt}],
        }
    ],
    ...
}

ช่วงค่าของ temperature

Temperature คือ "ความเต็มใจรับความเสี่ยง" ของโมเดล
Temperature ต่ำ ทำงานเหมือนผู้ตัดสินใจที่รอบคอบ
- เหมาะกับงานเช่น การสรุปความหรือตอบคำถามเชิงข้อเท็จจริง
Temperature สูง ทำงานเหมือนนักคิดสร้างสรรค์ที่กล้าเสี่ยง
- เหมาะกับงานสร้างสรรค์ เช่น การเขียนเรื่องหรือระดมความคิด

เทอร์โมมิเตอร์แทนค่า temperature

Top_p

Top_p (nucleus sampling)
- ช่วยควบคุมความสามารถคาดเดาได้ของผลลัพธ์
- กำหนดความน่าจะเป็นของคำที่ใช้
- ช่วง: 0.1 (เจาะจง) ถึง 0.9 (หลากหลาย)
- เช่น top_p = 0.1 หมายความว่าโมเดลพิจารณาเฉพาะ 10% ของคำที่มีความน่าจะเป็นสูงสุด

prompt = "Explain quantum computing"

# Focused response
request["top_p"] = 0.1

# Diverse response
request["top_p"] = 0.9

Max tokens

Max_tokens จำกัดความยาวของการตอบสนอง:
- เพื่อบริหารต้นทุน ขนาดผลลัพธ์ และประสิทธิภาพ
- ค่าทั่วไป: 100-2000

prompt = "Explain quantum computing"

# Focused shorter response
request["top_p"] = 0.1
request["max_tokens"] = 100

# Diverse longer response
request["top_p"] = 0.9
request["max_tokens"] = 500

การเลือกพารามิเตอร์

การสร้างเนื้อหา: temperature สูง (0.7-0.9)
ระบบถาม-ตอบ: temperature ต่ำ (0.1-0.3)
เอกสาร: top_p ต่ำ (0.1-0.3)
การระดมความคิด: top_p สูง (0.7-0.9)
แอปพลิเคชันแชท: max_tokens ปานกลาง (150-300)
เนื้อหายาว: max_tokens สูง (1000+)

แผงควบคุมดิจิทัลพร้อมมาตรวัดและปุ่มหมุน แสดงถึงพารามิเตอร์ต่าง ๆ ที่ปรับได้เมื่อใช้งานโมเดลภาษาใน Amazon Bedrock มีดีไซน์ทันสมัยพร้อมแสงพื้นหลังสีน้ำเงิน

มาฝึกกันเถอะ!

Amazon Bedrock เบื้องต้น