Memilih model fondasi

Pengantar Amazon Bedrock

Nikhil Rangarajan

Data Scientist

Mengaktifkan akses model di Amazon Bedrock

Akses pengaturan model — tidak perlu mengaktifkan model untuk kursus ini

Tangkapan layar yang menampilkan model Claude dan Nova diaktifkan di AWS Console.

Model fondasi: ringan vs. lanjutan

Model ringan
- Cocok untuk: tanya jawab, rangkuman
- Respons cepat dan hemat biaya
- Contoh: Nova Micro, Claude Haiku

Logo Amazon.

Model lanjutan
- Cocok untuk: penalaran kompleks, analisis
- Kapabilitas analisis menyeluruh
- Contoh: Nova Plus, Claude Sonnet

Model fondasi lain di Amazon Bedrock

Model lain di Amazon Bedrock:

Llama dari Meta
- 📝 LLM open-source untuk tugas teks umum
Stable Diffusion dari Stability AI
- 🖼 Khusus untuk pembuatan gambar
Jurassic dari AI21
- 📈 Pembuatan dan analisis teks

Logo llama milik Meta.

Memanggil model Bedrock

Struktur dasar:

import json

bedrock = boto3.client('bedrock-runtime', region_name='us-east-1')

response = bedrock.invoke_model(modelId='amazon.nova-lite-v1:0',

body=json.dumps(input_dictionary)

)

Mengembalikan respons model dalam format JSON

Memanggil Claude

Anthropic Claude

response = bedrock.invoke_model(
    modelId='anthropic.claude-3-5-sonnet-v2:0',
    body=json.dumps(

      {"anthropic_version": "bedrock-2023-05-31",

       "max_tokens": 100,

       "messages": [{
            "role": "user",
            "content": [{"type": "text", "text": "your prompt here"}],
        }],

    }

))

Memanggil Nova

Amazon Nova

response = bedrock.invoke_model(
    modelId='amazon.nova-lite-v1:0', 
    body=json.dumps(

      {"messages":

                  [{"role": "user", 
                    "content": [{"text": "your prompt here"}]
                   }]

      }

))

Mengekstrak respons model

Baca body respons API
Konversi dari JSON ke dictionary Python
Ekstrak output dengan key

print("Claude:",

      json.loads(
          claude_response['body'].read()
        )

      ["content"][0]["text"]

     )

Hello! It's nice to meet you. How can I assist you today?

Mengekstrak respons model

Baca body respons API
Konversi dari JSON ke dictionary Python
Ekstrak output dengan key

print("Nova:",

      json.loads(
        nova_response.get("body").read().decode()
      )

      ["output"]["message"]["content"][0]["text"]

     )

Hello! How can I assist you today?

Ayo berlatih!

Pengantar Amazon Bedrock