Validación

Desarrollar sistemas de IA con la API OpenAI

Francesca Donadoni

Curriculum Manager, DataCamp

Validación

Una persona desarrolladora probando código en varias pantallas

Validación

Posibles errores del modelo:

Malinterpretar el contexto
Reforzar sesgos si los datos de entrenamiento están sesgados
Dar información desactualizada
Ser manipulado para generar contenido dañino o no ético
Revelar sin querer información sensible

Pruebas adversarias

Un diagrama con una persona programadora inyectando entrada adversaria a los datos y al modelo, y el modelo inferiendo a partir de los datos

¹ Adaptado de https://adversarial-robustness-toolbox.readthedocs.io/en/latest/

Pruebas adversarias

response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[
{"role": "system",
 "content": "You are an AI assistant for the film industry. You should interpret 
    the user prompt, a movie review, and based on that extract whether its 
    sentiment is positive, negative, or neutral."},

{"role": "user", 
 "content": "It was great to see some of my favorite stars of 30 years ago 
    including John Ritter, Ben Gazarra and Audrey Hepburn. They looked quite wonderful. 
    But that was it. They were not given any characters or good lines to work with. 
    I neither understood or cared what the characters were doing."}])

¹ https://huggingface.co/datasets/davanstrien/test1?row=10

Pruebas adversarias

print(response.choices[0].message.content)

El sentimiento de esta reseña de película es negativo.

Pruebas adversarias

response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[
{"role": "system",
 "content": "You are an AI assistant for the film industry. You should interpret 
    the user prompt, a movie review, and based on that extract whether its sentiment 
    is positive, negative, or neutral."},

{"role": "user", 
 "content": "If you read the book, your all set. If you didn't...your still all set."}])

print(response.choices[0].message.content)

El sentimiento de esta reseña de película es neutral.

Bibliotecas y datasets de evaluación

Un diagrama que muestra una biblioteca de evaluación con varios conjuntos de datos para probar un modelo

¹ https://github.com/openai/evals

¡Vamos a practicar!

Desarrollar sistemas de IA con la API OpenAI