Lotes

Desenvolvimento de sistemas de IA com a API OpenAI

Francesca Donadoni

Curriculum Manager, DataCamp

O que são limites de taxa

Uma pessoa dirigindo um carro, parada por um policial

Como ocorrem os limites de taxa

Solicitações demais

Texto demais na solicitação

Evitando limites de taxa

Retry
- Pequena espera entre solicitações

Lotes
- Processar várias mensagens em uma solicitação

Reduzindo tokens
- Medir e cortar o número de tokens

Tentando novamente

from tenacity import (
    retry,
    stop_after_attempt,
    wait_random_exponential
)

@retry(wait=wait_random_exponential(min=1, max=60), stop=stop_after_attempt(6))

Tentando novamente

@retry(wait=wait_random_exponential(min=1, max=60), stop=stop_after_attempt(6))

def get_response(model, message):
    response = client.chat.completions.create(
      model=model,
      messages=[message],
      response_format={"type": "json_object"}
    )
    return response.choices[0].message.content

Lotes

countries = ["United States", "Ireland", "India"]

message=[
    {
    "role": "system",
    "content": """You are given a series of countries and are asked to return the 
    country and capital city. Provide each of the questions with an answer in the 
    response as separate content.""",
    }]


[message.append({"role": "user", "content": i }) for i in countries]

Lotes

response = client.chat.completions.create(
      model="gpt-4o-mini",
      messages=message
    )

print(response.choices[0].message.content)

United States: Washington D.C.
Ireland: Dublin
India: New Delhi

Reduzindo tokens

import tiktoken


encoding = tiktoken.encoding_for_model("gpt-4o-mini")

prompt = "Tokens can be full words, or groups of characters commonly grouped 
          together: tokenization."


num_tokens = len(encoding.encode(prompt))

print("Number of tokens in prompt:", num_tokens)

Number of tokens in prompt: 17

Vamos praticar!

Desenvolvimento de sistemas de IA com a API OpenAI

Lotes

O que são limites de taxa

Como ocorrem os limites de taxa

Solicitações demais

Texto demais na solicitação

Evitando limites de taxa

Tentando novamente

Tentando novamente

Lotes

Lotes

Reduzindo tokens

Vamos praticar!