Làm việc với các tham số mô hình khác nhau

Giới thiệu về Amazon Bedrock

Nikhil Rangarajan

Data Scientist

Tham số mô hình trong Amazon Bedrock

Mô hình có các tham số để kiểm soát hành vi
temperature: Kiểm soát độ ngẫu nhiên của dự đoán
top_p: Kiểm soát độ đa dạng đầu ra bằng cách chọn các token xếp hạng cao
max_tokens: Đặt độ dài tối đa của đầu ra

Núm vặn nhiệt độ dạng tròn với mũi tên xanh cong chỉ vào, đại diện cách điều chỉnh tham số như temperature để kiểm soát độ ngẫu nhiên trong đầu ra của Amazon Bedrock.

Temperature

Độ ngẫu nhiên và tính sáng tạo của phản hồi
Nhiệt độ thấp (gần 0): Phản hồi tập trung, xác định
Nhiệt độ cao (gần 1): Đầu ra đa dạng, sáng tạo
Hầu hết mô hình Bedrock mặc định 0.7

prompt = "Write a headline for a 
          tech article"
request = {
    "temperature": 0.2,
    "messages": [
        {
            "role": "user",
            "content": [{"type": "text", 
                         "text": prompt}],
        }
    ],
    ...
}

Khoảng nhiệt độ

Temperature = “khẩu vị rủi ro” của mô hình
Nhiệt độ thấp hành xử như người ra quyết định thận trọng
- Phù hợp tóm tắt hoặc trả lời dựa trên sự thật
Nhiệt độ cao như người sáng tạo, chấp nhận rủi ro
- Phù hợp tác vụ sáng tạo như viết truyện hoặc brainstorm

Nhiệt kế biểu thị nhiệt độ

Top_p

Top_p (lấy mẫu hạt nhân)
- Giúp kiểm soát tính dự đoán của đầu ra
- Xác định xác suất từ được dùng
- Phạm vi: 0.1 (tập trung) đến 0.9 (đa dạng)
- Ví dụ: top_p = 0.1 nghĩa là mô hình chỉ xét 10% từ khả dĩ nhất tiếp theo

prompt = "Explain quantum computing"

# Focused response
request["top_p"] = 0.1

# Diverse response
request["top_p"] = 0.9

Max tokens

Max_tokens giới hạn độ dài phản hồi:
- Để quản lý chi phí, kích thước phản hồi và hiệu năng
- Giá trị thường dùng: 100–2000

prompt = "Explain quantum computing"

# Focused shorter response
request["top_p"] = 0.1
request["max_tokens"] = 100

# Diverse longer response
request["top_p"] = 0.9
request["max_tokens"] = 500

Chọn tham số

Tạo nội dung: Nhiệt độ cao (0.7–0.9)
Hệ thống Hỏi–Đáp: Nhiệt độ thấp (0.1–0.3)
Tài liệu: top_p thấp (0.1–0.3)
Brainstorm: top_p cao (0.7–0.9)
Ứng dụng chat: max_tokens vừa (150–300)
Nội dung dài: max_tokens cao (1000+)

Bảng điều khiển số có đồng hồ dạng tốc kế, núm và nút, đại diện cho các tham số có thể điều chỉnh khi làm việc với mô hình ngôn ngữ trong Amazon Bedrock. Thiết kế hiện đại với đèn nền xanh.

Ayo berlatih!

Giới thiệu về Amazon Bedrock