Deployment

LLMOps-concepten

Max Knobbout, PhD

Applied Scientist, Uber

LLM-levenscyclus: Deployment

Overzicht van de levenscyclusfases van een LLM-applicatie

LLMOps-concepten

Naar deployment

 

 

Speelse afbeelding van stripfiguren die een doos slepen

 

 

  • Geen one-size-fits-all!
  • Een app kan chain/agentlogica, vectordatabase, LLM en meer bevatten
  • Elk onderdeel moet worden gedeployed en samenwerken
LLMOps-concepten

Stap 1: Keuze van hosting

  • Private/public cloud of on-premises hosting
  • Veel cloudproviders bieden oplossingen voor LLM-hosting en -deployment

Hosting

LLMOps-concepten

Stap 2: API-ontwerp

  • API's laten software met elkaar praten
  • Ontwerp beïnvloedt schaalbaarheid, kosten en infrastructuur
  • Beveiliging is cruciaal, geregeld met API-sleutels!

API-ontwerp

LLMOps-concepten

Stap 3: Hoe runnen

  • Opties:

    1. Containers
    2. Serverless-functies
    3. Cloud-managed services

  • Voor-/nadelen: kosten, schaalbaarheid, efficiëntie, flexibiliteit

Docker-logo

Uitvoeringsarchitectuur

LLMOps-concepten

CI/CD

Continuous Integration (CI):

  1. Source: Haal broncode op
  2. Build: Maak een containerimage met de code
  3. Test: Voer integratietests uit
  4. Register: Sla de container op in een registry

Continuous Deployment (CD):

  1. Retrieve: Haal container uit de registry
  2. Test: Voer deploymenttests uit
  3. Deploy: Deploy naar omgevingen:
    • Staging
    • Productie
LLMOps-concepten

Schalen

 

Speelse afbeelding van stripfiguren die een grootschalige robot bouwen

 

  • LLM's kunnen speciale GPU-hardware nodig hebben.

  • Schaalstrategieën:

    1. Horizontaal: Meer machines toevoegen
    2. Verticaal: Één machine upgraden

  • Horizontaal voor verkeer, verticaal voor betrouwbaarheid en snelheid

LLMOps-concepten

Laten we oefenen!

LLMOps-concepten

Preparing Video For Download...