Validace

Vývoj AI systémů s OpenAI API

Francesca Donadoni

Curriculum Manager, DataCamp

Validace

Vývojář testující kód na více obrazovkách

Validace

Možné chyby modelu:

Chybná interpretace kontextu
Zesilování předsudků, pokud jsou trénovací data zaujatá
Výstup zastaralých informací
Manipulace ke generování škodlivého nebo neetického obsahu
Neúmyslné odhalení citlivých informací

Adversariální testování

Diagram znázorňující programátora vkládajícího adversariální vstup do dat a modelu, přičemž model z dat odvozuje výstupy

¹ Adapted from https://adversarial-robustness-toolbox.readthedocs.io/en/latest/

Adversariální testování

response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[
{"role": "system",
 "content": "You are an AI assistant for the film industry. You should interpret 
    the user prompt, a movie review, and based on that extract whether its 
    sentiment is positive, negative, or neutral."},

{"role": "user", 
 "content": "It was great to see some of my favorite stars of 30 years ago 
    including John Ritter, Ben Gazarra and Audrey Hepburn. They looked quite wonderful. 
    But that was it. They were not given any characters or good lines to work with. 
    I neither understood or cared what the characters were doing."}])

¹ https://huggingface.co/datasets/davanstrien/test1?row=10

Adversariální testování

print(response.choices[0].message.content)

The sentiment of this movie review is negative.

Adversariální testování

response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[
{"role": "system",
 "content": "You are an AI assistant for the film industry. You should interpret 
    the user prompt, a movie review, and based on that extract whether its sentiment 
    is positive, negative, or neutral."},

{"role": "user", 
 "content": "If you read the book, your all set. If you didn't...your still all set."}])

print(response.choices[0].message.content)

The sentiment of this movie review is neutral.

Evaluační knihovny a datové sady

Diagram znázorňující ukázkovou evaluační knihovnu využívající různé datové sady k testování modelu

¹ https://github.com/openai/evals

Pojďme procvičovat!

Vývoj AI systémů s OpenAI API