Batching

Entwicklung von KI-Systemen mit der OpenAI-API

Francesca Donadoni

Curriculum Manager, DataCamp

Was sind Rate Limits?

Eine Person fährt Auto und wird von einem Polizisten angehalten

Entwicklung von KI-Systemen mit der OpenAI-API

Wie Rate Limits entstehen

 

  • Zu viele Anfragen

    Viele Sprechblasen in einer Gruppe für mehrere Nachrichten

 

  • Zu viel Text in der Anfrage

    Ein großes Sprechblasen-Icon mit Punkten auf weißem Hintergrund für eine lange Nachricht
Entwicklung von KI-Systemen mit der OpenAI-API

Rate Limits vermeiden

 

  • Retry
    • Kurze Wartezeit zwischen Anfragen

 

  • Batching
    • Mehrere Nachrichten in einer Anfrage verarbeiten

 

  • Tokens reduzieren
    • Anzahl der Tokens messen und senken
Entwicklung von KI-Systemen mit der OpenAI-API

Erneut versuchen

 

from tenacity import (
    retry,
    stop_after_attempt,
    wait_random_exponential
)

@retry(wait=wait_random_exponential(min=1, max=60), stop=stop_after_attempt(6))
Entwicklung von KI-Systemen mit der OpenAI-API

Erneut versuchen

 

@retry(wait=wait_random_exponential(min=1, max=60), stop=stop_after_attempt(6))

def get_response(model, message):
    response = client.chat.completions.create(
      model=model,
      messages=[message],
      response_format={"type": "json_object"}
    )
    return response.choices[0].message.content
Entwicklung von KI-Systemen mit der OpenAI-API

Batching

countries = ["United States", "Ireland", "India"]

message=[
    {
    "role": "system",
    "content": """You are given a series of countries and are asked to return the 
    country and capital city. Provide each of the questions with an answer in the 
    response as separate content.""",
    }]


[message.append({"role": "user", "content": i }) for i in countries]
Entwicklung von KI-Systemen mit der OpenAI-API

Batching

response = client.chat.completions.create(
      model="gpt-4o-mini",
      messages=message
    )

print(response.choices[0].message.content)

United States: Washington D.C.
Ireland: Dublin
India: New Delhi
Entwicklung von KI-Systemen mit der OpenAI-API

Tokens reduzieren

 

import tiktoken


encoding = tiktoken.encoding_for_model("gpt-4o-mini")

prompt = "Tokens can be full words, or groups of characters commonly grouped 
          together: tokenization."


num_tokens = len(encoding.encode(prompt))

print("Number of tokens in prompt:", num_tokens)

Number of tokens in prompt: 17
Entwicklung von KI-Systemen mit der OpenAI-API

Lass uns üben!

Entwicklung von KI-Systemen mit der OpenAI-API

Preparing Video For Download...