Översikt av LLMOps

LLMOps-koncept

Max Knobbout, PhD

Applied Scientist, Uber

Det här lär du dig i kursen

LLMOps hjälper till att effektivt hantera, driftsätta och underhålla applikationer med stora språkmodeller
Vi kommer att gå igenom:
- Grunderna
- Livscykeln för LLM-applikationer
- Utmaningar och överväganden

¹ Illustrationer av Manfred Steger @ Pixabay

En enkel pipeline som visar en fråga som går in i en LLM och genererar ett svar

Organisationsdata integreras innan texten genereras
Stegen kan inkludera databearbetning och -manipulation
Ett eller flera modell-anrop, med stöd för text, bild eller multimodalt innehåll

Det vi i den här kursen kallar LLM-applikationer

Bild av en komplex LLM-pipeline

Sömlös integration

Smidiga övergångar i livscykeln

Effektiv och skalbar hantering

Några skillnader:

	LLMOps	MLOps
Modellstorlek	Stor	Vanligtvis mindre
Data	Text	Alla datatyper
Förtränade modeller	Vanligtvis ja	Vanligtvis nej
Modellförbättring	Promptteknik och finjustering	Särdragsframtagning och modellval
Generalisering	Allmänt ändamål	Fast omfång
Oförutsägbarhet	Hög	Låg
Utdata	Primärt text	Uppgiftsspecifik

LLMOps-koncept