API yanıtları ve hataları yönetme

Amazon Bedrock'a Giriş

Nikhil Rangarajan

Data Scientist

Oran sınırlarını yönetme

Üstel geri çekilme (exponential backoff) stratejisi uygulayın
Akıllı yeniden denemelerle API kullanımını optimize edin

def backoff_retry(max_retries=3, 
                  init_delay=1):

  for attempt in range(max_retries):
    try: 
      response = bedrock.invoke_model()

    # Retries when we have an exception
  except Exception as e:
    if "ThrottlingException" in str(e):
    # Exponential backoff
      time.sleep(base_delay * 
                   (2 ** attempt))

Toplu yanıtları işleme

Birden çok isteği verimli işleyin
Toplu yanıtları güvenle yönetin
En iyi performansı koruyun

def process_batch(prompts, batch=5):
  results = []
  for i in range(0, len(prompts), 
                 batch):
    responses = [invoke_model(p) for p 
                 in prompts[i:i+batch]]

Yanıt sonrası işleme

Yanıt yapısını doğrulayın
Gövdeyi yükleyip ayrıştırın
Beklenen anahtarı kontrol edin
Tutarlı veri kalitesi sağlayın

def postprocess_response(response):

    data=json.loads(response['body']
                   .read())

    if 'content' in data: 
    return data['content'].strip()

return None

Hata kurtarma

Birincil model sorun yaşarsa yedek plan uygulayın
Modele özgü hataları yönetin
Üretim düzeyinde güvenilirliği sağlayın

try:
    response = bedrock.invoke_model(modelId="anthropic.claude-3-5-sonnet-v2:0", 
        body=json.dumps(request_body))

except ClientError: 
    response = bedrock.invoke_model(modelId="amazon.nova-lite-v1:0")

Hadi pratik yapalım!

Amazon Bedrock'a Giriş