Přehled LLMOps

Koncepty LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Co se v tomto kurzu naučíme

Hravá ilustrace knihy sedící u stolu a učící se

 

  • LLMOps pomáhá efektivně spravovat, nasazovat a udržovat aplikace s velkými jazykovými modely
  • Probereme:
    • Základy
    • Životní cyklus aplikací LLM
    • Výzvy a aspekty
1 Ilustrace: Manfred Steger @ Pixabay
Koncepty LLMOps

Opakování: LLM

 

 

Co jsou LLM?
  • 📚 Trénované na rozsáhlých textových datech
  • 🧠 Dokážou rozumět textu a generovat přirozený jazyk
  • 💡 Představují průlom v oblasti umělé inteligence

 

 

Čím se odlišují?
  • 🏋 Zpravidla předtrénované
  • 🐘 Obrovský počet parametrů
  • 💻 Vysoké nároky na výpočetní výkon
  • 🎲 Nepředvídatelné
Koncepty LLMOps

Jak to začalo...

  • Dotazy byly vkládány přímo do modelu
  • Důraz byl kladen na provoz modelu
  • Data byla zavedena pouze při fine-tuningu modelu

Jednoduchý pipeline znázorňující dotaz vstupující do LLM a generování výstupu

Koncepty LLMOps

... versus jak to funguje dnes

  • Integrace organizačních dat před generováním textu
  • Kroky mohou zahrnovat zpracování a manipulaci s daty
  • Jedno nebo více volání modelu – text, obrázky nebo multimodální vstup

Výsledkem jsou takzvané aplikace LLM v celém tomto kurzu

Ukázka komplexního LLM pipeline

Koncepty LLMOps

Proč potřebujeme LLMOps

 

 

Bezproblémová integrace

Koncepty LLMOps

Proč potřebujeme LLMOps

 

 

Plynulé přechody v životním cyklu

Koncepty LLMOps

Proč potřebujeme LLMOps

 

 

Efektivní a škálovatelná správa

Koncepty LLMOps

LLMOps versus MLOps

Koncepty LLMOps

LLMOps versus MLOps

Hlavní rozdíly:

LLMOps MLOps
Velikost modelu Velký Zpravidla menší
Data Text Libovolná data
Předtrénované modely Zpravidla ano Zpravidla ne
Zlepšení modelu Prompt engineering a fine-tuning Feature engineering a výběr modelu
Zobecnění Obecné použití Pevně daný rozsah
Nepředvídatelnost Vysoká Nízká
Výstup Primárně text Specifický pro úlohu
Koncepty LLMOps

Pojďme si procvičit!

Koncepty LLMOps

Preparing Video For Download...