Overzicht van LLMOps

LLMOps-concepten

Max Knobbout, PhD

Applied Scientist, Uber

Wat je leert in deze cursus

Een speelse illustratie van een boek dat aan zijn bureau zit te studeren

 

  • LLMOps helpt om LLM‑applicaties effectief te beheren, uit te rollen en te onderhouden
  • We behandelen:
    • Basisprincipes
    • Lifecycle van LLM‑applicaties
    • Uitdagingen en aandachtspunten
1 Illustraties door Manfred Steger @ Pixabay
LLMOps-concepten

Samenvatting van LLM’s

 

 

Wat zijn LLM’s?
  • 📚 Getraind op veel tekstdata
  • 🧠 Begrijpen en genereren mensachtige tekst
  • 💡 Een doorbraak in AI

 

 

Wat onderscheidt ze?
  • 🏋 Meestal voorgetraind
  • 🐘 Enorm aantal parameters
  • 💻 Veel rekenkracht nodig
  • 🎲 Onvoorspelbaar
LLMOps-concepten

Hoe het begon...

  • Vragen werden direct aan het model gevoerd
  • Focus lag op het bedienen van het model
  • Data kwam pas bij fine-tuning in beeld

Een eenvoudige pijplijn waarin een query een LLM ingaat en een output genereert

LLMOps-concepten

... versus hoe het nu gaat

  • Integratie van organisatiedata vóór tekstopwekking
  • Stappen omvatten dataverwerking en -manipulatie
  • Eén of meerdere modelcalls, voor tekst, beeld of multimodaal

Dit leidt tot wat we in deze cursus LLM‑applicaties noemen

Afbeelding van een complexe LLM-pijplijn

LLMOps-concepten

De noodzaak van LLMOps

 

 

Naadloze integratie

LLMOps-concepten

De noodzaak van LLMOps

 

 

Vlotte lifecycle-overgangen

LLMOps-concepten

De noodzaak van LLMOps

 

 

Efficiënt, schaalbaar beheer

LLMOps-concepten

LLMOps versus MLOps

LLMOps-concepten

LLMOps versus MLOps

Enkele verschillen:

LLMOps MLOps
Modelgrootte Groot Meestal kleiner
Data Tekst Alle soorten data
Voorgetrainde modellen Meestal wel Meestal niet
Modelverbetering Prompt engineering & fine-tuning Feature engineering & modelkeuze
Generaliseerbaarheid Algemeen toepasbaar Vastomlijnd
Onvoorspelbaarheid Hoog Laag
Output Voornamelijk tekst Taakspecifiek
LLMOps-concepten

Laten we oefenen!

LLMOps-concepten

Preparing Video For Download...