Валідація

Розроблення AI‑систем з OpenAI API

Francesca Donadoni

Curriculum Manager, DataCamp

Валідація

Розробник тестує код на кількох екранах

Валідація

Можливі помилки моделі:

Хибне тлумачення контексту
Підсилення упереджень у відповідях, якщо тренувальні дані упереджені
Повернення застарілої інформації
Маніпуляція моделлю для генерації шкідливого чи неетичного контенту
Ненавмисне розкриття чутливої інформації

Атакаційне тестування

Схема: програміст подає ворожі вхідні дані до даних і моделі, а модель робить висновки з даних

¹ Adapted from https://adversarial-robustness-toolbox.readthedocs.io/en/latest/

Атакаційне тестування

response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[
{"role": "system",
 "content": "You are an AI assistant for the film industry. You should interpret 
    the user prompt, a movie review, and based on that extract whether its 
    sentiment is positive, negative, or neutral."},

{"role": "user", 
 "content": "It was great to see some of my favorite stars of 30 years ago 
    including John Ritter, Ben Gazarra and Audrey Hepburn. They looked quite wonderful. 
    But that was it. They were not given any characters or good lines to work with. 
    I neither understood or cared what the characters were doing."}])

¹ https://huggingface.co/datasets/davanstrien/test1?row=10

Атакаційне тестування

print(response.choices[0].message.content)

Настрій цього відгуку про фільм — негативний.

Атакаційне тестування

response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[
{"role": "system",
 "content": "You are an AI assistant for the film industry. You should interpret 
    the user prompt, a movie review, and based on that extract whether its sentiment 
    is positive, negative, or neutral."},

{"role": "user", 
 "content": "If you read the book, your all set. If you didn't...your still all set."}])

print(response.choices[0].message.content)

Настрій цього відгуку про фільм — нейтральний.

Бібліотеки та набори даних для оцінювання

Схема: приклад бібліотеки оцінювання, що використовує різні набори даних для тестування моделі

¹ https://github.com/openai/evals

Давайте потренуємось!

Розроблення AI‑систем з OpenAI API