Selecionando um modelo base

Introdução ao Amazon Bedrock

Nikhil Rangarajan

Data Scientist

Habilitando acesso a modelos no Amazon Bedrock

Acesse as configurações de modelos — não precisa habilitar modelos para o curso

Uma captura de tela mostrando os modelos Claude e Nova habilitados no Console da AWS.

Modelos base: leves vs. avançados

Modelos leves
- Ideais para: Q&A, sumarização
- Respostas rápidas e custo baixo
- Ex.: Nova Micro, Claude Haiku

Logotipo da Amazon.

Modelos avançados
- Ideais para: raciocínio complexo, análise
- Capacidades de análise completas
- Ex.: Nova Plus, Claude Sonnet

Outros modelos base no Amazon Bedrock

Outros modelos no Amazon Bedrock:

Llama da Meta
- 📝 LLM open source para tarefas gerais de texto
Stable Diffusion da Stability AI
- 🖼 Especializado em geração de imagens
Jurassic da AI21
- 📈 Geração e análise de texto

Logotipo da Llama da Meta.

Chamando modelos do Bedrock

Estrutura básica:

import json

bedrock = boto3.client('bedrock-runtime', region_name='us-east-1')

response = bedrock.invoke_model(modelId='amazon.nova-lite-v1:0',

body=json.dumps(input_dictionary)

)

Retorna a resposta do modelo em JSON

Chamando o Claude

Anthropic Claude

response = bedrock.invoke_model(
    modelId='anthropic.claude-3-5-sonnet-v2:0',
    body=json.dumps(

      {"anthropic_version": "bedrock-2023-05-31",

       "max_tokens": 100,

       "messages": [{
            "role": "user",
            "content": [{"type": "text", "text": "your prompt here"}],
        }],

    }

))

Chamando o Nova

Amazon Nova

response = bedrock.invoke_model(
    modelId='amazon.nova-lite-v1:0', 
    body=json.dumps(

      {"messages":

                  [{"role": "user", 
                    "content": [{"text": "your prompt here"}]
                   }]

      }

))

Extraindo a resposta do modelo

Leia o body da resposta da API
Converta de JSON para dict em Python
Extraia a saída pelas chaves

print("Claude:",

      json.loads(
          claude_response['body'].read()
        )

      ["content"][0]["text"]

     )

Hello! It's nice to meet you. How can I assist you today?

Extraindo a resposta do modelo

Leia o body da resposta da API
Converta de JSON para dict em Python
Extraia a saída pelas chaves

print("Nova:",

      json.loads(
        nova_response.get("body").read().decode()
      )

      ["output"]["message"]["content"][0]["text"]

     )

Hello! How can I assist you today?

Vamos praticar!

Introdução ao Amazon Bedrock