Überblick über LLMOps

LLMOps-Konzepte

Max Knobbout, PhD

Applied Scientist, Uber

Was wir in diesem Kurs lernen

LLMOps hilft, Anwendungen großer Sprachmodelle effektiv zu verwalten, bereitzustellen und zu warten
Wir behandeln:
- Grundlagen
- Lebenszyklus von LLM-Anwendungen
- Herausforderungen und Aspekte

¹ Illustrationen von Manfred Steger @ Pixabay

Eine einfache Pipeline: Anfrage in ein LLM, das einen Output erzeugt

Das ergibt in diesem Kurs sogenannte LLM-Anwendungen

Abbildung einer komplexen LLM-Pipeline

Nahtlose Integration

Reibungslose Übergänge im Lebenszyklus

Effizientes, skalierbares Management

Einige Unterschiede:

	LLMOps	MLOps
Modellgröße	Groß	Typisch kleiner
Daten	Text	Beliebige Daten
Vortrainierte Modelle	Meist ja	Meist nein
Modellverbesserung	Prompt-Engineering & Fine-Tuning	Feature-Engineering & Modellauswahl
Generalisierung	Allgemein einsetzbar	Fester Umfang
Unvorhersehbarkeit	Hoch	Niedrig
Output	Vor allem Text	Aufgabenspezifisch

LLMOps-Konzepte