Implementare

Concepte LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Ciclul de viață LLM: Implementare

Prezentare generală a fazelor ciclului de viață al aplicației LLM

Concepte LLMOps

Trecerea la implementare

 

 

Imagine jucăușă cu personaje de desene animate trăgând o cutie

 

 

  • Nu există o soluție universală!
  • O aplicație poate include logică de lanț/agent, bază de date vectorială, LLM și altele
  • Fiecare componentă trebuie implementată și să funcționeze împreună
Concepte LLMOps

Pasul 1: Alegerea găzduirii

  • Găzduire în cloud privat/public sau on-premise
  • Mulți furnizori cloud oferă soluții pentru găzduirea și implementarea LLM

Găzduire

Concepte LLMOps

Pasul 2: Design API

  • API-urile permit comunicarea între aplicații software
  • Designul influențează scalabilitatea, costurile și infrastructura
  • Securitatea este esențială, controlată prin chei API!

Design API

Concepte LLMOps

Pasul 3: Cum se rulează

  • Opțiuni:

    1. Containere
    2. Funcții serverless
    3. Servicii cloud gestionate

  • Avantaje/dezavantaje: costuri, scalabilitate, eficiență și flexibilitate

Logo Docker

Arhitectura de execuție

Concepte LLMOps

CI/CD

Integrare continuă (CI):

  1. Sursă: Preluare cod sursă
  2. Build: Creare imagine container cu codul
  3. Testare: Teste de integrare
  4. Înregistrare: Stocare container în registru

Implementare continuă (CD):

  1. Preluare: Preluare container din registru
  2. Testare: Teste de implementare
  3. Implementare: Implementare container în medii:
    • Staging
    • Producție
Concepte LLMOps

Scalare

 

Imagine jucăușă cu personaje de desene animate construind un robot de mari dimensiuni

 

  • LLM-urile pot necesita hardware GPU specializat.

  • Strategii de scalare:

    1. Orizontală: Adăugare de mașini
    2. Verticală: Îmbunătățirea unei mașini

  • Orizontală pentru trafic, verticală pentru fiabilitate și viteză

Concepte LLMOps

Să exersăm!

Concepte LLMOps

Preparing Video For Download...