Kedjor och agenter

LLMOps-koncept

Max Knobbout, PhD

Applied Scientist, Uber

LLM-livscykel: Kedjor och agenter

Från promptar till applikationer

 

• För att använda mallen behöver vi:
  • Exempel
  • Indata
• Vi går igenom några steg:
  1. Ta emot indata
  2. Söka efter exempel
  3. Skapa prompt
  4. Hämta utdata
  5. Tolka utdata

En kedja med vår mall

 

Varför kedjor?

 

 

 

• Bygg sofistikerade applikationer
• Möjliggör modulär design med bättre skalbarhet och driftseffektivitet
• Ger stora möjligheter till anpassning

Agenter

 

 

 

• Agenter består av:
  • Flera åtgärder (eller verktyg)
  • En LLM som avgör vilken åtgärd som ska vidtas

 

• Användbara när:
  • Det finns många möjliga åtgärder
  • Den optimala sekvensen av steg är okänd
  • Indatan är osäker

Agenter

Agenter

Agenter

Skillnaden mellan kedjor och agenter

 

 

	Kedjor 🔗	Agenter 🤖
Karaktär	Deterministisk	Adaptiv
Komplexitet	Låg	Hög
Flexibilitet	Låg	Hög
Risk	Lägre (tack vare förutsägbarhet)	Högre (tack vare anpassningsbarhet)

Utvecklingscykeln

Utvecklingscykeln

Utvecklingscykeln

Nu kör vi en övning!

LLMOps-koncept