Gestione dei costi

Concetti di LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Ciclo di vita LLM: gestione dei costi

Panoramica delle fasi del ciclo di vita di un'app LLM

Concetti di LLMOps

Gestione dei costi

Immagine giocosa di un cartone con buste dei costi

 

  • Focus sui costi del modello
  • I costi possono crescere in base a hosting e/o uso
    • Per modelli self-hosted, i costi derivano dall'hosting
    • Per modelli ospitati esternamente, i costi derivano dall'uso
Concetti di LLMOps

Scomporre i costi degli LLM

Self-hosted (open source)

  • Cloud:
    • Durata di funzionamento del server
  • On-premise:
    • Costi hardware
    • Manutenzione ed elettricità

Ospitato esternamente (proprietario)

  • Proprietario:
    • Numero di chiamate
    • Numero di token per chiamata
Concetti di LLMOps

Strategia 1: Scegli il modello giusto

 

Immagine giocosa di un cartone che sceglie una stella

 

 

  • Usa il modello più conveniente che risolve comunque il task
  • Usa più modelli piccoli specifici per task
  • Per il self-hosting, valuta tecniche di riduzione della dimensione del modello
Concetti di LLMOps

Strategia 2: Ottimizza i prompt

 

Immagine giocosa di un cartone che disegna un'idea

 

 

  • Usa la compressione dei prompt automatica
  • Riduzione dei contenuti:
    • Ottimizza la gestione della "chat memory"
    • Ottimizza il RAG per restituire meno risultati
Concetti di LLMOps

Strategia 3: Ottimizza il numero di chiamate

 

 

Immagine giocosa di un cartone che conta buste a terra

 

  • Usa il batching
  • Usa la cache delle risposte (se applicabile)
  • Ottimizza (e limita) le chiamate degli agenti
  • Imposta quota e rate limit
  • Valuta task che non richiedono LLM
Concetti di LLMOps

Metriche dei costi e previsione

 

  • Cose importanti da tracciare:
    • Per self-hosted, costo per macchina per unità di tempo
    • Per host esterni, costo per sessione
  • Capisci come crescerà la base utenti e come scaleranno i costi

Immagine giocosa di un cartone che indica un grafico a barre

Concetti di LLMOps

Ayo berlatih!

Concetti di LLMOps

Preparing Video For Download...