Välja en grundmodell

Introduktion till Amazon Bedrock

Nikhil Rangarajan

Data Scientist

Aktivera modellåtkomst i Amazon Bedrock

Öppna modellinställningarna – du behöver inte aktivera modeller för kursen

En skärmbild som visar Claude- och Nova-modellerna aktiverade i AWS-konsolen.

Lättvikts- kontra avancerade grundmodeller

Lättviktsmodeller
- Passar bäst för: frågor och svar, sammanfattning
- Snabb respons och kostnadseffektiv
- Exempel: Nova Micro, Claude Haiku

Logotyp för Amazon.

Avancerade modeller
- Passar bäst för: komplex slutledning, analys
- Breda analyskapaciteter
- Exempel: Nova Plus, Claude Sonnet

Andra grundmodeller i Amazon Bedrock

Andra modeller i Amazon Bedrock:

Metas Llama
- 📝 Öppen källkod-LLM för allmänna textuppgifter
Stability AIs Stable Diffusion
- 🖼 Specialiserad på bildgenerering
AI21s Jurassic
- 📈 Textgenerering och analys

Logotyp för Metas Llama.

Anropa Bedrock-modeller

Grundläggande struktur:

import json

bedrock = boto3.client('bedrock-runtime', region_name='us-east-1')

response = bedrock.invoke_model(modelId='amazon.nova-lite-v1:0',

body=json.dumps(input_dictionary)

)

Returnerar modellens svar i JSON-format

Anropa Claude

Anthropic Claude

response = bedrock.invoke_model(
    modelId='anthropic.claude-3-5-sonnet-v2:0',
    body=json.dumps(

      {"anthropic_version": "bedrock-2023-05-31",

       "max_tokens": 100,

       "messages": [{
            "role": "user",
            "content": [{"type": "text", "text": "your prompt here"}],
        }],

    }

))

Anropa Nova

Amazon Nova

response = bedrock.invoke_model(
    modelId='amazon.nova-lite-v1:0', 
    body=json.dumps(

      {"messages":

                  [{"role": "user", 
                    "content": [{"text": "your prompt here"}]
                   }]

      }

))

Extrahera modellsvaret

Läs brödtexten i API-svaret
Konvertera från JSON till en Python-ordbok
Extrahera utdata med nycklar

print("Claude:",

      json.loads(
          claude_response['body'].read()
        )

      ["content"][0]["text"]

     )

Hello! It's nice to meet you. How can I assist you today?

Extrahera modellsvaret

Läs brödtexten i API-svaret
Konvertera från JSON till en Python-ordbok
Extrahera utdata med nycklar

print("Nova:",

      json.loads(
        nova_response.get("body").read().decode()
      )

      ["output"]["message"]["content"][0]["text"]

     )

Hello! How can I assist you today?

Nu kör vi en övning!

Introduktion till Amazon Bedrock