Fáze ideace

Koncepty LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Životní cyklus LLM: fáze ideace

Přehled fází životního cyklu LLM aplikace

Koncepty LLMOps

Získávání dat

 

Hravý obrázek postavičky držící různé zdroje dat

 

  • Identifikace potřeb

 

  • Vyhledání zdrojů

 

  • Zajištění přístupnosti
Koncepty LLMOps

Získávání dat

 

Hravý obrázek postavičky držící různé zdroje dat

  1. Jsou data relevantní?
  2. Jsou data dostupná?
    • Transformace dat
    • Vytvoření dalších databází
    • Zhodnocení nákladů
    • Zvážení dalších omezení přístupu
  3. Splňují data požadované standardy?
    • Týká se kvality a správy dat
Koncepty LLMOps

Výběr základního modelu

  • Předtrénované modely:

Obrázek předtrénovaného modelu

  • Proprietární nebo open-source?
Koncepty LLMOps

Proprietární modely (soukromě vlastněné)

Výhody:

  • Snadné nastavení a použití
  • Zajištění kvality
  • Spolehlivost, rychlost a dostupnost

 

Omezení:

  • Vyžaduje sdílení dat
  • Přizpůsobitelnost

Příklady:

Loga proprietárních LLM modelů

Koncepty LLMOps

Open-source (veřejně dostupné)

Výhody:

  • Hostování v rámci organizace
  • Transparentnost
  • Plná přizpůsobitelnost

 

Omezení:

  • Podpora
  • Komerční využití

 

Příklad: Logo Meta Llama 3

 

Ke stažení na: Logo Hugging Face

Koncepty LLMOps

Faktory při výběru modelu

1. Výkon ⭐

  • Kvalita odpovědí
  • Rychlost

Ikony související s výkonem

2. Vlastnosti modelu ⭐

  • Data použitá k trénování modelu
  • Velikost kontextového okna
  • Možnost doladění

Ikony související s vlastnostmi modelu

Koncepty LLMOps

Faktory při výběru modelu

3. Praktická hlediska ⭐

  • Licence
  • Náklady
  • Dopad na životní prostředí

Ikony související s praktickými hledisky

4. Vedlejší faktory

  • Počet parametrů
  • Popularita

Ikony související s vedlejšími faktory

Koncepty LLMOps

Pojďme si procvičit!

Koncepty LLMOps

Preparing Video For Download...