Ketens en agents

LLMOps-concepten

Max Knobbout, PhD

Applied Scientist, Uber

LLM-levenscyclus: ketens en agents

Overzicht van de fasen in de LLM-applicatielevenscyclus

LLMOps-concepten

Van prompts naar applicaties

Promptsjabloon voor classificatie van calorieën per gerecht

 

  • Voor dit sjabloon hebben we nodig:
    • Voorbeelden
    • Input
  • We doorlopen enkele stappen:
    1. Input ontvangen
    2. Voorbeelden zoeken
    3. Prompt maken
    4. Output ophalen
    5. Output parsen
LLMOps-concepten

Een keten met ons sjabloon

 

Een LLM-applicatie met een keten die vergelijkbare gerechten uit de database ophaalt

LLMOps-concepten

De noodzaak van ketens

 

Een speelse afbeelding van drie cartoonfiguren die een keten tekenen

 

 

  • Bouw geavanceerde apps
  • Maak een modulair ontwerp voor schaalbaarheid en efficiëntie
  • Eindeloze mogelijkheden voor maatwerk
LLMOps-concepten

Agents

 

 

Een speelse afbeelding van een cartoon die op een robotmuis rijdt

 

  • Agents bestaan uit:
    • Meerdere acties (tools)
    • Een LLM die beslist welke actie te nemen

 

  • Handig wanneer:
    • Er veel acties zijn
    • De optimale volgorde onbekend is
    • De input onzeker is
LLMOps-concepten

Agents

Een agent-architectuur met twee acties

LLMOps-concepten

Agents

Een agent-architectuur met twee acties

LLMOps-concepten

Agents

Een agent-architectuur met twee acties

LLMOps-concepten

Verschil tussen ketens en agents

 

 

Ketens 🔗 Agents 🤖
Aard Deterministisch Adaptief
Complexiteit   Laag Hoog
Flexibiliteit Laag Hoog
Risico Lager (door voorspelbaarheid)                 Hoger (door adaptiviteit)                
LLMOps-concepten

De ontwikkelcyclus

Ontwikkelcyclus met de activiteit prompt engineering toegevoegd

LLMOps-concepten

De ontwikkelcyclus

Ontwikkelcyclus met keten en agents.

LLMOps-concepten

De ontwikkelcyclus

Ontwikkelcyclus met de activiteit keten- en agentontwikkeling toegevoegd

LLMOps-concepten

Laten we oefenen!

LLMOps-concepten

Preparing Video For Download...