API responses और errors हैंडल करना

Amazon Bedrock परिचय

Nikhil Rangarajan

Data Scientist

रेट लिमिट मैनेज करना

एक्सपोनेंशियल बैकऑफ स्ट्रैटेजी लागू करें
स्मार्ट रिट्राइज से API उपयोग ऑप्टिमाइज़ करें

def backoff_retry(max_retries=3, 
                  init_delay=1):

  for attempt in range(max_retries):
    try: 
      response = bedrock.invoke_model()

    # Retries when we have an exception
  except Exception as e:
    if "ThrottlingException" in str(e):
    # Exponential backoff
      time.sleep(base_delay * 
                   (2 ** attempt))

बैच प्रोसेसिंग रिस्पॉन्स

कई रिक्वेस्ट कुशलता से प्रोसेस करें
बैच रिस्पॉन्स सुरक्षित रूप से हैंडल करें
परफॉर्मेंस को ऑप्टिमल रखें

def process_batch(prompts, batch=5):
  results = []
  for i in range(0, len(prompts), 
                 batch):
    responses = [invoke_model(p) for p 
                 in prompts[i:i+batch]]

रिस्पॉन्स पोस्ट-प्रोसेसिंग

रिस्पॉन्स स्ट्रक्चर वैलिडेट करें
बॉडी लोड करें और पार्स करें
अपेक्षित key जाँचें
डेटा क्वालिटी एकसमान रखें

def postprocess_response(response):

    data=json.loads(response['body']
                   .read())

    if 'content' in data: 
    return data['content'].strip()

return None

एरर रिकवरी

फॉलबैक स्ट्रैटेजी लागू करें - जब प्राइमरी मॉडल में दिक्कत हो तो बैकअप प्लान
मॉडल-विशेष errors हैंडल करें
प्रोडक्शन-ग्रेड भरोसेमंदी सुनिश्चित करें

try:
    response = bedrock.invoke_model(modelId="anthropic.claude-3-5-sonnet-v2:0", 
        body=json.dumps(request_body))

except ClientError: 
    response = bedrock.invoke_model(modelId="amazon.nova-lite-v1:0")

अभ्यास करते हैं!

Amazon Bedrock परिचय