Řetězce a agenti

Koncepty LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Životní cyklus LLM: Řetězce a agenti

Přehled fází životního cyklu LLM aplikace

Koncepty LLMOps

Od promptů k aplikacím

Šablona promptu pro klasifikaci kalorií jídel

 

  • K použití šablony potřebujeme:
    • Příklady
    • Vstup
  • Postup zahrnuje několik kroků:
    1. Přijetí vstupu
    2. Vyhledání příkladů
    3. Vytvoření promptu
    4. Získání výstupu
    5. Zpracování výstupu
Koncepty LLMOps

Řetězec s naší šablonou

 

LLM aplikace využívající řetězec k načtení podobných jídel z databáze

Koncepty LLMOps

Proč potřebujeme řetězce

 

Hravý obrázek tří kreslených postaviček kreslících řetěz

 

 

  • Vývoj sofistikovaných aplikací
  • Modulární návrh zvyšující škálovatelnost a provozní efektivitu
  • Neomezené možnosti přizpůsobení
Koncepty LLMOps

Agenti

 

 

Hravý obrázek kreslené postavičky jedoucí na robotické myši

 

  • Agent se skládá z:
    • Více akcí (nebo nástrojů)
    • LLM, který rozhoduje o akci

 

  • Užitečné, když:
    • Existuje mnoho akcí
    • Optimální pořadí kroků není známo
    • Vstupy jsou nejisté
Koncepty LLMOps

Agenti

Architektura agenta se dvěma akcemi

Koncepty LLMOps

Agenti

Architektura agenta se dvěma akcemi

Koncepty LLMOps

Agenti

Architektura agenta se dvěma akcemi

Koncepty LLMOps

Rozdíl mezi řetězci a agenty

 

 

Řetězce 🔗 Agenti 🤖
Charakter Deterministický Adaptivní
Složitost   Nízká Vysoká
Flexibilita Nízká Vysoká
Riziko Nižší (předvídatelnost)                 Vyšší (adaptabilita)                
Koncepty LLMOps

Vývojový cyklus

Vývojový cyklus s přidanou aktivitou promptového inženýrství

Koncepty LLMOps

Vývojový cyklus

Vývojový cyklus s řetězci a agenty

Koncepty LLMOps

Vývojový cyklus

Vývojový cyklus s přidanou aktivitou vývoje řetězců a agentů

Koncepty LLMOps

Pojďme si procvičit!

Koncepty LLMOps

Preparing Video For Download...