Testen

LLMOps-Konzepte

Max Knobbout, PhD

Applied Scientist, Uber

LLM-Lebenszyklus: Testen

Übersicht der Phasen im LLM‑Anwendungslebenszyklus

Warum testen?

LLMs machen Fehler
Tests sind entscheidend, um die Einsatzreife zu prüfen
Wir bewerten die Ausgabe

Traditionelles ML vs. LLM-Tests

Traditionelles überwachtes Machine Learning:

Benötigt gelabelte Train- und Testdaten
Metriken zu Genauigkeit oder Nähe zum Ziel

Bild von Train- und Testset für traditionelles ML

LLM-Anwendungen:

Benötigen Testdaten, nicht zwingend gelabelt
Qualitätsbewertung mit diversen Metriken

Bild von Train- und Testset für LLM-Anwendungen

Schritt 1: Testset erstellen

Der Testdatensatz sollte jetzt stehen
Testdaten müssen der Praxis sehr ähnlich sein
Verschiedene Tools helfen dabei

Schritt 2: Metrik wählen

Wenn es eine richtige Antwort gibt …

… nutze ML-Metriken. Beispiel:
- Accuracy

Ablaufdiagramm mit Hinweis auf „Use ML metrics“

Schritt 2: Metrik wählen

Wenn es eine Referenzantwort gibt …

… nutze statistische Methoden.
… nutze modellbasierte Methoden. Beispiel:
- LLM-Judges

Ablaufdiagramm mit Hinweis auf „Use text comparison metrics“

Schritt 2: Metrik wählen

Wenn wir menschliches Feedback haben …

… lass Menschen den Text bewerten. Beispiele:
- Qualität bewerten
- Relevanz bewerten
- Kohärenz bewerten
… nutze einen modellbasierten Ansatz. Beispiel:
- Bewertung aus vergangenem Feedback vorhersagen
- LLM-Judge fragen, ob Feedback umgesetzt wurde

Ablaufdiagramm mit Hinweis auf „Use feedback score metrics“

Schritt 2: Metrik wählen

Wenn es kein menschliches Feedback gibt …

… nutze unüberwachte Metriken. Beispiele:
- Kohärenz
- Flüssigkeit
- Diversität

Ablaufdiagramm mit Hinweis auf „Use unsupervised metrics“

Schritt 3: Optionale Sekundärmetriken definieren

Ausgabe-Merkmale:

🎭 Bias
☠ Toxicity
🤝 Helpfulness

Operative Merkmale:

⏱ Latenz
💰 Gesamtkosten
💻 Speicherbedarf

Der Entwicklungszyklus

Entwicklungszyklus mit hinzugefügter Aktivität Fine-Tuning

Der Entwicklungszyklus

Entwicklungszyklus mit hinzugefügter Aktivität Testing

Der Entwicklungszyklus

Entwicklungszyklus mit hinzugefügter Aktivität Testing

Der Entwicklungszyklus

Entwicklungszyklus mit hinzugefügter Aktivität Deployment

Lass uns üben!

LLMOps-Konzepte

Preparing Video For Download...