Catene e agenti

Concetti di LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Ciclo di vita LLM: catene e agenti

Panoramica delle fasi del ciclo di vita di un'app LLM

Concetti di LLMOps

Dai prompt alle applicazioni

Template di prompt per classificare le calorie di un piatto

 

  • Per usare questo template servono:
    • Esempi
    • Input
  • Passi principali:
    1. Ricezione input
    2. Ricerca esempi
    3. Creazione prompt
    4. Recupero output
    5. Parsing output
Concetti di LLMOps

Una catena con il nostro template

 

Un'app LLM con una catena che recupera piatti simili dal database

Concetti di LLMOps

Perché servono le catene

 

Un'immagine giocosa di tre personaggi cartoon che disegnano una catena

 

 

  • Sviluppa applicazioni avanzate
  • Progetta moduli: più scalabilità ed efficienza
  • Infinite possibilità di personalizzazione
Concetti di LLMOps

Agenti

 

 

Un'immagine giocosa di un cartone che cavalca un topo robot

 

  • Gli agenti includono:
    • Azioni (o tool) multiple
    • Un LLM che decide quale azione eseguire

 

  • Utili quando:
    • Le azioni sono molte
    • La sequenza ottimale è sconosciuta
    • Gli input sono incerti
Concetti di LLMOps

Agenti

Un'architettura di agente con due azioni

Concetti di LLMOps

Agenti

Un'architettura di agente con due azioni

Concetti di LLMOps

Agenti

Un'architettura di agente con due azioni

Concetti di LLMOps

Differenza tra catene e agenti

 

 

Catene 🔗 Agenti 🤖
Natura Deterministica Adattiva
Complessità   Bassa Alta
Flessibilità Bassa Alta
Rischio Minore (per la prevedibilità)                 Maggiore (per l'adattabilità)                
Concetti di LLMOps

Il ciclo di sviluppo

Ciclo di sviluppo con l'attività di prompt engineering

Concetti di LLMOps

Il ciclo di sviluppo

Ciclo di sviluppo con catene e agenti.

Concetti di LLMOps

Il ciclo di sviluppo

Ciclo di sviluppo con l'attività di sviluppo di catene e agenti

Concetti di LLMOps

Passons à la pratique !

Concetti di LLMOps

Preparing Video For Download...