Scelta di un foundation model

Introduzione ad Amazon Bedrock

Nikhil Rangarajan

Data Scientist

Abilitare l’accesso ai modelli in Amazon Bedrock

Accedi alle impostazioni dei modelli - per il corso non serve abilitarli

Uno screenshot che mostra i modelli Claude e Nova abilitati sulla console AWS.

Modelli foundation: leggeri vs avanzati

Modelli leggeri
- Ideali per: Q&A, sintesi
- Risposte rapide e costi ridotti
- Esempi: Nova Micro, Claude Haiku

Logo di Amazon.

Modelli avanzati
- Ideali per: ragionamento complesso, analisi
- Capacità di analisi complete
- Esempi: Nova Plus, Claude Sonnet

Altri foundation model in Amazon Bedrock

Altri modelli disponibili in Amazon Bedrock:

Llama di Meta
- 📝 LLM open source per task di testo generali
Stable Diffusion di Stability AI
- 🖼 Specializzato nella generazione di immagini
Jurassic di AI21
- 📈 Generazione e analisi di testo

Logo di Llama di Meta.

Invocare i modelli Bedrock

Struttura base:

import json

bedrock = boto3.client('bedrock-runtime', region_name='us-east-1')

response = bedrock.invoke_model(modelId='amazon.nova-lite-v1:0',

body=json.dumps(input_dictionary)

)

Restituisce la risposta del modello in formato JSON

Invocare Claude

Anthropic Claude

response = bedrock.invoke_model(
    modelId='anthropic.claude-3-5-sonnet-v2:0',
    body=json.dumps(

      {"anthropic_version": "bedrock-2023-05-31",

       "max_tokens": 100,

       "messages": [{
            "role": "user",
            "content": [{"type": "text", "text": "your prompt here"}],
        }],

    }

))

Invocare Nova

Amazon Nova

response = bedrock.invoke_model(
    modelId='amazon.nova-lite-v1:0', 
    body=json.dumps(

      {"messages":

                  [{"role": "user", 
                    "content": [{"text": "your prompt here"}]
                   }]

      }

))

Estrarre la risposta del modello

Leggi il body della risposta API
Converti da JSON a dizionario Python
Estrai l’output con le chiavi

print("Claude:",

      json.loads(
          claude_response['body'].read()
        )

      ["content"][0]["text"]

     )

Ciao! Piacere di conoscerti. Come posso aiutarti oggi?

Estrarre la risposta del modello

Leggi il body della risposta API
Converti da JSON a dizionario Python
Estrai l’output con le chiavi

print("Nova:",

      json.loads(
        nova_response.get("body").read().decode()
      )

      ["output"]["message"]["content"][0]["text"]

     )

Ciao! Come posso aiutarti oggi?

¡Vamos a practicar!

Introduzione ad Amazon Bedrock