Chọn mô hình nền tảng

Giới thiệu về Amazon Bedrock

Nikhil Rangarajan

Data Scientist

Bật quyền truy cập mô hình trong Amazon Bedrock

Truy cập cài đặt mô hình - không cần bật mô hình cho khóa học này

Ảnh chụp màn hình cho thấy các mô hình Claude và Nova đã được bật trên AWS Console.

Mô hình nền tảng nhẹ vs. nâng cao

Mô hình nhẹ
- Phù hợp: Hỏi đáp, tóm tắt
- Phản hồi nhanh, tiết kiệm chi phí
- Ví dụ: Nova Micro, Claude Haiku

Logo của Amazon.

Mô hình nâng cao
- Phù hợp: Lập luận, phân tích phức tạp
- Khả năng phân tích toàn diện
- Ví dụ: Nova Plus, Claude Sonnet

Các mô hình nền tảng khác trong Amazon Bedrock

Các mô hình khác trên Amazon Bedrock:

Llama của Meta
- 📝 LLM mã nguồn mở cho tác vụ văn bản tổng quát
Stable Diffusion của Stability AI
- 🖼 Chuyên về tạo ảnh
Jurassic của AI21
- 📈 Tạo và phân tích văn bản

Logo llama của Meta.

Gọi mô hình Bedrock

Cấu trúc cơ bản:

import json

bedrock = boto3.client('bedrock-runtime', region_name='us-east-1')

response = bedrock.invoke_model(modelId='amazon.nova-lite-v1:0',

body=json.dumps(input_dictionary)

)

Trả về phản hồi của mô hình ở dạng JSON

Gọi Claude

Anthropic Claude

response = bedrock.invoke_model(
    modelId='anthropic.claude-3-5-sonnet-v2:0',
    body=json.dumps(

      {"anthropic_version": "bedrock-2023-05-31",

       "max_tokens": 100,

       "messages": [{
            "role": "user",
            "content": [{"type": "text", "text": "your prompt here"}],
        }],

    }

))

Gọi Nova

Amazon Nova

response = bedrock.invoke_model(
    modelId='amazon.nova-lite-v1:0', 
    body=json.dumps(

      {"messages":

                  [{"role": "user", 
                    "content": [{"text": "your prompt here"}]
                   }]

      }

))

Trích xuất phản hồi mô hình

Đọc phần body của phản hồi API
Chuyển từ JSON sang dict Python
Trích xuất đầu ra bằng khóa

print("Claude:",

      json.loads(
          claude_response['body'].read()
        )

      ["content"][0]["text"]

     )

Hello! It's nice to meet you. How can I assist you today?

Trích xuất phản hồi mô hình

Đọc phần body của phản hồi API
Chuyển từ JSON sang dict Python
Trích xuất đầu ra bằng khóa

print("Nova:",

      json.loads(
        nova_response.get("body").read().decode()
      )

      ["output"]["message"]["content"][0]["text"]

     )

Hello! How can I assist you today?

Ayo berlatih!

Giới thiệu về Amazon Bedrock