Správa nákladů
Koncepty LLMOps
Max Knobbout, PhD
Applied Scientist, Uber
Životní cyklus LLM: Správa nákladů
Správa nákladů
- Zaměření na náklady na model
- Náklady mohou růst v závislosti na hostingu a/nebo využití
- U modelů s vlastním hostingem plynou náklady z hostingu
- U externě hostovaných modelů plynou náklady z využití
Rozbor nákladů na LLM
Vlastní hosting (open source)
- Cloud:
- Doba, po kterou server zůstává v provozu
- On-premise:
- Náklady na hardware
- Údržba a elektřina
Externí hosting (proprietární)
- Proprietární:
- Počet volání
- Počet tokenů na volání
Strategie 1: Výběr správného modelu
- Použijte nákladově nejefektivnější model, který splní danou úlohu
- Použijte více menších modelů specializovaných na konkrétní úlohy
- Při vlastním hostingu zvažte techniky zmenšení modelu
Strategie 2: Optimalizace promptů
- Použijte automatickou kompresi promptů
- Redukce obsahu:
- Optimalizujte správu „paměti konverzace"
- Optimalizujte RAG tak, aby vracel méně výsledků
Strategie 3: Optimalizace počtu volání
- Použijte dávkování
- Použijte ukládání odpovědí do mezipaměti (pokud je k dispozici)
- Optimalizujte (a omezte) volání agentů
- Nastavte kvóty a limity rychlosti
- Zvažte úlohy, které nevyžadují LLM
Metriky nákladů a prognóza
- Důležité sledovat:
- Pro vlastní hosting: náklady na stroj za časovou jednotku
- Pro externí hosting: náklady na relaci
- Porozumějte růstu uživatelské základny a tomu, jak porostou náklady
Pojďme procvičovat!
Koncepty LLMOps
Preparing Video For Download...
