Validação

Desenvolvimento de sistemas de IA com a API OpenAI

Francesca Donadoni

Curriculum Manager, DataCamp

Validação

Uma pessoa desenvolvedora testando código em várias telas

Validação

Possíveis erros do modelo:

Interpretar o contexto errado
Amplificar vieses se os dados de treino forem enviesados
Trazer informações desatualizadas
Ser manipulado para gerar conteúdo nocivo ou antiético
Revelar dados sensíveis sem querer

Teste adversarial

Um diagrama com uma pessoa programadora injetando entrada adversarial nos dados e no modelo, e o modelo inferindo a partir dos dados

¹ Adaptado de https://adversarial-robustness-toolbox.readthedocs.io/en/latest/

Teste adversarial

response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[
{"role": "system",
 "content": "You are an AI assistant for the film industry. You should interpret 
    the user prompt, a movie review, and based on that extract whether its 
    sentiment is positive, negative, or neutral."},

{"role": "user", 
 "content": "It was great to see some of my favorite stars of 30 years ago 
    including John Ritter, Ben Gazarra and Audrey Hepburn. They looked quite wonderful. 
    But that was it. They were not given any characters or good lines to work with. 
    I neither understood or cared what the characters were doing."}])

¹ https://huggingface.co/datasets/davanstrien/test1?row=10

Teste adversarial

print(response.choices[0].message.content)

O sentimento desta crítica de filme é negativo.

Teste adversarial

response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[
{"role": "system",
 "content": "You are an AI assistant for the film industry. You should interpret 
    the user prompt, a movie review, and based on that extract whether its sentiment 
    is positive, negative, or neutral."},

{"role": "user", 
 "content": "If you read the book, your all set. If you didn't...your still all set."}])

print(response.choices[0].message.content)

O sentimento desta crítica de filme é neutro.

Bibliotecas e datasets de avaliação

Um diagrama mostrando uma biblioteca de avaliação que usa vários datasets para testar um modelo

¹ https://github.com/openai/evals

Vamos praticar!

Desenvolvimento de sistemas de IA com a API OpenAI