Validierung

Entwicklung von KI-Systemen mit der OpenAI-API

Francesca Donadoni

Curriculum Manager, DataCamp

Validierung

Ein*e Entwickler*in testet Code auf mehreren Bildschirmen

Validierung

Potenzial für Modellfehler:

Kontext wird falsch interpretiert
Verzerrungen werden verstärkt, wenn Trainingsdaten voreingenommen sind
Veraltete Informationen im Output
Manipulation zu schädlichen oder unethischen Inhalten
Unbeabsichtigte Preisgabe sensibler Daten

Adversarial Testing

Ein Diagramm mit einer Programmiererin, die adversariale Eingaben in Daten und Modell einspeist, und das Modell, das aus den Daten schließt

¹ Adapted from https://adversarial-robustness-toolbox.readthedocs.io/en/latest/

Adversarial Testing

response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[
{"role": "system",
 "content": "You are an AI assistant for the film industry. You should interpret 
    the user prompt, a movie review, and based on that extract whether its 
    sentiment is positive, negative, or neutral."},

{"role": "user", 
 "content": "It was great to see some of my favorite stars of 30 years ago 
    including John Ritter, Ben Gazarra and Audrey Hepburn. They looked quite wonderful. 
    But that was it. They were not given any characters or good lines to work with. 
    I neither understood or cared what the characters were doing."}])

¹ https://huggingface.co/datasets/davanstrien/test1?row=10

Adversarial Testing

print(response.choices[0].message.content)

Die Stimmung dieser Filmkritik ist negativ.

Adversarial Testing

response = client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[
{"role": "system",
 "content": "You are an AI assistant for the film industry. You should interpret 
    the user prompt, a movie review, and based on that extract whether its sentiment 
    is positive, negative, or neutral."},

{"role": "user", 
 "content": "If you read the book, your all set. If you didn't...your still all set."}])

print(response.choices[0].message.content)

Die Stimmung dieser Filmkritik ist neutral.

Evaluationsbibliotheken und -datensätze

Ein Diagramm zeigt eine Beispiel-Evaluationsbibliothek, die verschiedene Datensätze nutzt, um ein Modell zu testen

¹ https://github.com/openai/evals

Lass uns üben!

Entwicklung von KI-Systemen mit der OpenAI-API