Gestionarea costurilor
Concepte LLMOps
Max Knobbout, PhD
Applied Scientist, Uber
Ciclul de viață LLM: Gestionarea costurilor
Gestionarea costurilor
- Accentul se pune pe costurile modelului
- Costurile pot crește în funcție de găzduire și/sau utilizare
- Pentru modelele găzduite propriu, costurile provin din găzduire
- Pentru modelele găzduite extern, costurile provin din utilizare
Structura costurilor LLM
Găzduire proprie (open source)
- Cloud:
- Durata de funcționare a serverului
- On-premise:
- Costuri hardware
- Întreținere și energie electrică
Găzduire externă (proprietar)
- Proprietar:
- Numărul de apeluri
- Numărul de tokeni per apel
Strategia 1: Alegeți modelul potrivit
- Utilizați modelul cel mai eficient ca cost care îndeplinește sarcina
- Utilizați mai multe modele mai mici, specializate pe sarcini
- Pentru găzduirea proprie, luați în calcul tehnici de reducere a dimensiunii modelului
Strategia 2: Optimizați prompturile
- Utilizați compresia automată a prompturilor
- Reducerea conținutului:
- Optimizați gestionarea „memoriei chat"
- Optimizați RAG pentru a returna mai puține rezultate
Strategia 3: Optimizați numărul de apeluri
- Utilizați gruparea (batching)
- Utilizați memoria cache a răspunsurilor (dacă este aplicabil)
- Optimizați (și limitați) apelurile agentului
- Setați cote și limite de rată
- Luați în calcul sarcini care nu necesită LLM-uri
Metrici de cost și prognoză
- Important de urmărit:
- Pentru găzduire proprie, costul pe mașină pe unitate de timp
- Pentru găzduire externă, costul pe sesiune
- Înțelegeți cum va crește baza de utilizatori și cum vor evolua costurile
Să exersăm!
Concepte LLMOps
Preparing Video For Download...
