Валидация

Разработка ИИ-систем с помощью OpenAI API

Francesca Donadoni

Curriculum Manager, DataCamp

Валидация

Разработчик тестирует код на нескольких экранах

Валидация

Возможные ошибки модели:

Неверная интерпретация контекста
Усиление предвзятостей из обучающих данных
Вывод устаревшей информации
Манипуляция с целью генерации вредоносного контента
Случайное раскрытие конфиденциальных данных

Состязательное тестирование

Диаграмма: программист подаёт противоречивые входные данные в модель, которая делает вывод на основе этих данных

¹ Адаптировано из https://adversarial-robustness-toolbox.readthedocs.io/en/latest/

Состязательное тестирование

response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[
{"role": "system",
 "content": "You are an AI assistant for the film industry. You should interpret 
    the user prompt, a movie review, and based on that extract whether its 
    sentiment is positive, negative, or neutral."},

{"role": "user", 
 "content": "It was great to see some of my favorite stars of 30 years ago 
    including John Ritter, Ben Gazarra and Audrey Hepburn. They looked quite wonderful. 
    But that was it. They were not given any characters or good lines to work with. 
    I neither understood or cared what the characters were doing."}])

¹ https://huggingface.co/datasets/davanstrien/test1?row=10

Состязательное тестирование

print(response.choices[0].message.content)

The sentiment of this movie review is negative.

Состязательное тестирование

response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[
{"role": "system",
 "content": "You are an AI assistant for the film industry. You should interpret 
    the user prompt, a movie review, and based on that extract whether its sentiment 
    is positive, negative, or neutral."},

{"role": "user", 
 "content": "If you read the book, your all set. If you didn't...your still all set."}])

print(response.choices[0].message.content)

The sentiment of this movie review is neutral.

Библиотеки и наборы данных для оценки

Диаграмма с примером библиотеки оценки, использующей различные наборы данных для тестирования модели

¹ https://github.com/openai/evals

Давайте потренируемся!

Разработка ИИ-систем с помощью OpenAI API