Ideefase

LLMOps-concepten

Max Knobbout, PhD

Applied Scientist, Uber

LLM-levenscyclus: ideefase

Overzicht van de fasen in de LLM-toepassingslevenscyclus

LLMOps-concepten

Data sourcen

 

Speels plaatje van een cartoon die verschillende databronnen omhooghoudt

 

  • Behoeften bepalen

 

  • Bronnen vinden

 

  • Toegankelijkheid borgen
LLMOps-concepten

Data sourcen

 

Speels plaatje van een cartoon die verschillende databronnen omhooghoudt

  1. Is de data relevant?
  2. Is de data beschikbaar?
    • Data transformeren
    • Extra databases opzetten
    • Kosten evalueren
    • Andere toegangsbeperkingen overwegen
  3. Voldoet de data aan normen?
    • Kwaliteit en governance
LLMOps-concepten

Basismodel kiezen

  • Voorgetrainde modellen:

Afbeelding van een voorgetraind model

  • Propriëtair of open source?
LLMOps-concepten

Propriëtaire modellen (privé-eigendom)

Voordelen:

  • Makkelijk opzetten en gebruiken
  • Kwaliteitsborging
  • Betrouwbaarheid, snelheid en beschikbaarheid

 

Beperkingen:

  • Vereist dat je data deelt
  • Beperkte maatwerkopties

Voorbeelden:

Logo's van propriëtaire LLM-modellen

LLMOps-concepten

Open source (publiek toegankelijk)

Voordelen:

  • Zelf hosten
  • Transparantie
  • Volledig aanpasbaar

 

Beperkingen:

  • Beperkte support
  • Commercieel gebruik

 

Voorbeeld: Logo van Meta Llama 3

 

Te downloaden via: Logo van Hugging Face

LLMOps-concepten

Factoren bij modelkeuze

1. Prestaties ⭐

  • Antwoordkwaliteit
  • Snelheid

Pictogrammen over prestaties

2. Modelkenmerken ⭐

  • Trainingsdata
  • Contextvenster-grootte
  • Fijn-af te stemmen

Pictogrammen over modelkenmerken

LLMOps-concepten

Factoren bij modelkeuze

3. Praktische overwegingen ⭐

  • Licentie
  • Kosten
  • Milieu-impact

Pictogrammen over praktische overwegingen

4. Secundaire factoren

  • Aantal parameters
  • Populariteit

Pictogrammen over secundaire factoren

LLMOps-concepten

Laten we oefenen!

LLMOps-concepten

Preparing Video For Download...