Validatie

AI-systemen ontwikkelen met de OpenAI API

Francesca Donadoni

Curriculum Manager, DataCamp

Validatie

Een ontwikkelaar die code test op meerdere schermen

Validatie

Kans op model fouten:

Context verkeerd interpreteren
Vooroordelen versterken als de trainingsdata bevooroordeeld is
Verouderde info geven
Gemanipuleerd worden tot schadelijke of onethische output
Onbedoeld gevoelige info onthullen

Adversariële tests

Een diagram met een programmeur die adversariële input in de data en het model injecteert, en het model dat uit de data afleidt

¹ Aangepast van https://adversarial-robustness-toolbox.readthedocs.io/en/latest/

Adversariële tests

response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[
{"role": "system",
 "content": "You are an AI assistant for the film industry. You should interpret 
    the user prompt, a movie review, and based on that extract whether its 
    sentiment is positive, negative, or neutral."},

{"role": "user", 
 "content": "It was great to see some of my favorite stars of 30 years ago 
    including John Ritter, Ben Gazarra and Audrey Hepburn. They looked quite wonderful. 
    But that was it. They were not given any characters or good lines to work with. 
    I neither understood or cared what the characters were doing."}])

¹ https://huggingface.co/datasets/davanstrien/test1?row=10

Adversariële tests

print(response.choices[0].message.content)

De emotie van deze filmrecensie is negatief.

Adversariële tests

response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[
{"role": "system",
 "content": "You are an AI assistant for the film industry. You should interpret 
    the user prompt, a movie review, and based on that extract whether its sentiment 
    is positive, negative, or neutral."},

{"role": "user", 
 "content": "If you read the book, your all set. If you didn't...your still all set."}])

print(response.choices[0].message.content)

De emotie van deze filmrecensie is neutraal.

Evaluatiebibliotheken en -datasets

Een diagram met een voorbeeldevaluatiebibliotheek die uiteenlopende datasets gebruikt om een model te testen

¹ https://github.com/openai/evals

Laten we oefenen!

AI-systemen ontwikkelen met de OpenAI API