Deployment

Concetti di LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Ciclo di vita LLM: Deployment

Panoramica delle fasi del ciclo di vita di un'app LLM

Concetti di LLMOps

Passare al deployment

 

 

Immagine giocosa di personaggi cartoon che trascinano una scatola

 

 

  • Niente soluzione universale!
  • Un'app può includere catena/agent, database vettoriale, LLM e altro
  • Ogni componente va deployato e deve lavorare insieme
Concetti di LLMOps

Passo 1: Scelta dell'hosting

  • Cloud privato/pubblico o hosting on-premise
  • Molti provider cloud offrono soluzioni per hosting e deployment LLM

Hosting

Concetti di LLMOps

Passo 2: Design API

  • Le API permettono a software diversi di comunicare
  • Il design influisce su scalabilità, costi e infrastruttura
  • La sicurezza è cruciale, gestita con API key!

Design API

Concetti di LLMOps

Passo 3: Come eseguire

  • Opzioni:

    1. Container
    2. Funzioni serverless
    3. Servizi gestiti cloud

  • Pro/contro: costi, scalabilità, efficienza, flessibilità

Logo Docker

Architettura di esecuzione

Concetti di LLMOps

CI/CD

Continuous Integration (CI):

  1. Source: recupera il codice sorgente
  2. Build: crea un'immagine container col codice
  3. Test: esegui test di integrazione
  4. Register: salva il container in un registry

Continuous Deployment (CD):

  1. Retrieve: preleva il container dal registry
  2. Test: esegui test di deploy
  3. Deploy: distribuisci il container in:
    • Staging
    • Produzione
Concetti di LLMOps

Scalabilità

 

Immagine giocosa di personaggi cartoon che costruiscono un robot su larga scala

 

  • Gli LLM possono richiedere GPU dedicate.

  • Strategie di scaling:

    1. Orizzontale: aggiungi macchine
    2. Verticale: potenzia una macchina

  • Orizzontale per traffico, verticale per affidabilità e velocità

Concetti di LLMOps

Passons à la pratique !

Concetti di LLMOps

Preparing Video For Download...