Validation

Développer des systèmes d'IA avec l'API d'OpenAI

Francesca Donadoni

Curriculum Manager, DataCamp

Validation

Une personne développeuse testant du code sur plusieurs écrans

Validation

Risques d'erreurs du modèle :

Mauvaise interprétation du contexte
Amplification de biais si les données d'entraînement sont biaisées
Production d'informations périmées
Manipulation pour générer du contenu nuisible ou non éthique
Divulgation involontaire de renseignements sensibles

Tests adversariaux

Schéma : une personne programmeuse injecte des entrées hostiles aux données et au modèle, et le modèle infère à partir des données

¹ Adapté de https://adversarial-robustness-toolbox.readthedocs.io/en/latest/

Tests adversariaux

response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[
{"role": "system",
 "content": "You are an AI assistant for the film industry. You should interpret 
    the user prompt, a movie review, and based on that extract whether its 
    sentiment is positive, negative, or neutral."},

{"role": "user", 
 "content": "It was great to see some of my favorite stars of 30 years ago 
    including John Ritter, Ben Gazarra and Audrey Hepburn. They looked quite wonderful. 
    But that was it. They were not given any characters or good lines to work with. 
    I neither understood or cared what the characters were doing."}])

¹ https://huggingface.co/datasets/davanstrien/test1?row=10

Tests adversariaux

print(response.choices[0].message.content)

Le sentiment de cette critique de film est négatif.

Tests adversariaux

response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[
{"role": "system",
 "content": "You are an AI assistant for the film industry. You should interpret 
    the user prompt, a movie review, and based on that extract whether its sentiment 
    is positive, negative, or neutral."},

{"role": "user", 
 "content": "If you read the book, your all set. If you didn't...your still all set."}])

print(response.choices[0].message.content)

Le sentiment de cette critique de film est neutre.

Bibliothèques d'évaluation et ensembles de données

Schéma : exemple de bibliothèque d'évaluation utilisant divers ensembles de données pour tester un modèle

¹ https://github.com/openai/evals

Passons à la pratique !

Développer des systèmes d'IA avec l'API d'OpenAI