Kostnadshantering
LLMOps-koncept
Max Knobbout, PhD
Applied Scientist, Uber
LLM-livscykeln: Kostnadshantering
Kostnadshantering
- Fokus ligger på modellkostnader
- Kostnader kan öka beroende på hosting och/eller användning
- För självhostade modeller uppstår kostnader från hosting
- För externt hostade modeller kommer kostnader från användning
LLM-kostnader i detalj
Självhostad (öppen källkod)
- Moln:
- Tid som servern är i drift
- Lokal installation:
- Hårdvarukostnader
- Underhåll och el
Externt hostad (proprietär)
- Proprietär:
- Antal anrop
- Antal token per anrop
Strategi 1: Välj rätt modell
- Använd den mest kostnadseffektiva modellen som klarar uppgiften
- Använd flera mindre uppgiftsspecifika modeller
- Vid självhosting, överväg tekniker för att minska modellstorleken
Strategi 2: Optimera promptar
- Använd automatisk promptkomprimering
- Innehållsreduktion:
- Optimera hanteringen av "chattminne"
- Optimera RAG för att returnera färre resultat
Strategi 3: Optimera antalet anrop
- Använd batchning
- Använd cachning av svar (om tillämpligt)
- Optimera (och begränsa) agentanrop
- Ange kvoter och hastighetsgränser
- Överväg uppgifter som inte kräver LLM:er
Kostnadsmått och prognos
- Viktigt att följa upp:
- För självhostad, kostnad per maskin och tidsenhet
- För externt hostad, kostnad per session
- Förstå hur användarbasen växer och hur kostnaderna skalas i takt med tillväxten
Nu kör vi en övning!
LLMOps-koncept
Preparing Video For Download...
