Batchning

Utveckla AI-system med OpenAI API

Francesca Donadoni

Curriculum Manager, DataCamp

Vad är hastighetsgränser för förfrågningar

En person som kör bil, stoppad av en polis

Hur hastighetsgränser uppstår

För många förfrågningar

För mycket text i förfrågan

Undvika hastighetsgränser

Återförsök
- Kort paus mellan förfrågningar

Batchning
- Bearbetar flera meddelanden i en förfrågan

Minska tokens
- Räkna och minska antalet tokens

Återförsök

from tenacity import (
    retry,
    stop_after_attempt,
    wait_random_exponential
)

@retry(wait=wait_random_exponential(min=1, max=60), stop=stop_after_attempt(6))

Återförsök

@retry(wait=wait_random_exponential(min=1, max=60), stop=stop_after_attempt(6))

def get_response(model, message):
    response = client.chat.completions.create(
      model=model,
      messages=[message],
      response_format={"type": "json_object"}
    )
    return response.choices[0].message.content

Batchning

countries = ["United States", "Ireland", "India"]

message=[
    {
    "role": "system",
    "content": """You are given a series of countries and are asked to return the 
    country and capital city. Provide each of the questions with an answer in the 
    response as separate content.""",
    }]


[message.append({"role": "user", "content": i }) for i in countries]

Batchning

response = client.chat.completions.create(
      model="gpt-4o-mini",
      messages=message
    )

print(response.choices[0].message.content)

United States: Washington D.C.
Ireland: Dublin
India: New Delhi

Minska tokens

import tiktoken


encoding = tiktoken.encoding_for_model("gpt-4o-mini")

prompt = "Tokens can be full words, or groups of characters commonly grouped 
          together: tokenization."


num_tokens = len(encoding.encode(prompt))

print("Number of tokens in prompt:", num_tokens)

Number of tokens in prompt: 17

Nu kör vi en övning!

Utveckla AI-system med OpenAI API

Batchning

Vad är hastighetsgränser för förfrågningar

Hur hastighetsgränser uppstår

För många förfrågningar

För mycket text i förfrågan

Undvika hastighetsgränser

Återförsök

Återförsök

Batchning

Batchning

Minska tokens

Nu kör vi en övning!