Selectarea unui model de bază

Introducere în Amazon Bedrock

Nikhil Rangarajan

Data Scientist

Activarea accesului la modele în Amazon Bedrock

Accesați setările modelului - nu este necesară activarea modelelor pentru curs

Captură de ecran cu modelele Claude și Nova activate în consola AWS.

Modele de bază ușoare vs. avansate

Modele ușoare
- Recomandate pentru: Î&R, sumarizare
- Răspuns rapid și cost redus
- Exemple: Nova Micro, Claude Haiku

Logo Amazon.

Modele avansate
- Recomandate pentru: Raționament complex, analiză
- Capacități avansate de analiză
- Exemple: Nova Plus, Claude Sonnet

Alte modele de bază în Amazon Bedrock

Alte modele disponibile în Amazon Bedrock:

Llama de la Meta
- 📝 LLM open-source pentru sarcini generale de text
Stable Diffusion de la Stability AI
- 🖼 Specializat pentru generarea de imagini
Jurassic de la AI21
- 📈 Generare și analiză de text

Logo Llama de la Meta.

Invocarea modelelor Bedrock

Structură de bază:

import json

bedrock = boto3.client('bedrock-runtime', region_name='us-east-1')

response = bedrock.invoke_model(modelId='amazon.nova-lite-v1:0',

body=json.dumps(input_dictionary)

)

Returnează răspunsul modelului în format JSON

Invocarea Claude

Anthropic Claude

response = bedrock.invoke_model(
    modelId='anthropic.claude-3-5-sonnet-v2:0',
    body=json.dumps(

      {"anthropic_version": "bedrock-2023-05-31",

       "max_tokens": 100,

       "messages": [{
            "role": "user",
            "content": [{"type": "text", "text": "your prompt here"}],
        }],

    }

))

Invocarea Nova

Amazon Nova

response = bedrock.invoke_model(
    modelId='amazon.nova-lite-v1:0', 
    body=json.dumps(

      {"messages":

                  [{"role": "user", 
                    "content": [{"text": "your prompt here"}]
                   }]

      }

))

Extragerea răspunsului modelului

Citirea corpului răspunsului API
Conversie din JSON în dicționar Python
Extragerea rezultatului cu chei

print("Claude:",

      json.loads(
          claude_response['body'].read()
        )

      ["content"][0]["text"]

     )

Hello! It's nice to meet you. How can I assist you today?

Extragerea răspunsului modelului

Citirea corpului răspunsului API
Conversie din JSON în dicționar Python
Extragerea rezultatului cu chei

print("Nova:",

      json.loads(
        nova_response.get("body").read().decode()
      )

      ["output"]["message"]["content"][0]["text"]

     )

Hello! How can I assist you today?

Să exersăm!

Introducere în Amazon Bedrock