Seleccionar un modelo base

Introducción a Amazon Bedrock

Nikhil Rangarajan

Data Scientist

Habilitar acceso a modelos en Amazon Bedrock

Accede a la configuración de modelos: no hace falta habilitarlos para el curso

Una captura que muestra los modelos Claude y Nova habilitados en la consola de AWS.

Modelos base ligeros vs. avanzados

Modelos ligeros
- Ideal para: preguntas y respuestas, resumen
- Responden rápido y son rentables
- Ej.: Nova Micro, Claude Haiku

Logo de Amazon.

Modelos avanzados
- Ideal para: razonamiento complejo, análisis
- Capacidades de análisis completas
- Ej.: Nova Plus, Claude Sonnet

Otros modelos base en Amazon Bedrock

Otros modelos en Amazon Bedrock:

Llama de Meta
- 📝 LLM de código abierto para tareas de texto generales
Stable Diffusion de Stability AI
- 🖼 Especializado en generación de imágenes
Jurassic de AI21
- 📈 Generación y análisis de texto

Logo de Llama de Meta.

Invocar modelos de Bedrock

Estructura básica:

import json

bedrock = boto3.client('bedrock-runtime', region_name='us-east-1')

response = bedrock.invoke_model(modelId='amazon.nova-lite-v1:0',

body=json.dumps(input_dictionary)

)

Devuelve la respuesta del modelo en JSON

Invocar Claude

Anthropic Claude

response = bedrock.invoke_model(
    modelId='anthropic.claude-3-5-sonnet-v2:0',
    body=json.dumps(

      {"anthropic_version": "bedrock-2023-05-31",

       "max_tokens": 100,

       "messages": [{
            "role": "user",
            "content": [{"type": "text", "text": "your prompt here"}],
        }],

    }

))

Invocar Nova

Amazon Nova

response = bedrock.invoke_model(
    modelId='amazon.nova-lite-v1:0', 
    body=json.dumps(

      {"messages":

                  [{"role": "user", 
                    "content": [{"text": "your prompt here"}]
                   }]

      }

))

Extraer la respuesta del modelo

Lee el body de la respuesta de la API
Convierte de JSON a diccionario de Python
Extrae la salida con claves

print("Claude:",

      json.loads(
          claude_response['body'].read()
        )

      ["content"][0]["text"]

     )

¡Hola! Encantado de conocerte. ¿En qué puedo ayudarte hoy?

Extraer la respuesta del modelo

Lee el body de la respuesta de la API
Convierte de JSON a diccionario de Python
Extrae la salida con claves

print("Nova:",

      json.loads(
        nova_response.get("body").read().decode()
      )

      ["output"]["message"]["content"][0]["text"]

     )

¡Hola! ¿En qué puedo ayudarte hoy?

¡Vamos a practicar!

Introducción a Amazon Bedrock