비용 관리

LLMOps 개념

Max Knobbout, PhD

Applied Scientist, Uber

LLM 라이프사이클: 비용 관리

비용 관리

 

• 초점은 모델 비용
• 호스팅/사용에 따라 비용 급증 가능
  • 자가 호스팅: 호스팅 비용 발생
  • 외부 호스팅: 사용량 기반 비용

LLM 비용 분해

자가 호스팅(오픈 소스)

• 클라우드:
  • 서버 가동 시간
• 온프레미스:
  • 하드웨어 비용
  • 유지보수 및 전기료

외부 호스팅(독점)

• 독점:
  • 호출 수
  • 호출당 토큰 수

전략 1: 적합한 모델 선택

 

 

 

• 과업 달성에 충분한 최저 비용 모델 사용
• 더 작은 과업 특화 모델 다중 사용
• 자가 호스팅 시 모델 크기 축소 기법 고려

전략 2: 프롬프트 최적화

 

 

 

• 자동 프롬프트 압축 사용
• 콘텐츠 축소:
  • "채팅 메모리" 관리 최적화
  • RAG를 최적화해 반환 결과 축소

전략 3: 호출 수 최적화

 

 

 

• 배칭 사용
• 응답 캐싱 사용(해당 시)
• 에이전트 호출 최적화(및 제한)
• 쿼터와 속도 제한 설정
• LLM이 불필요한 작업 고려

비용 지표와 전망

 

• 추적할 핵심 항목:
  • 자가 호스팅: 기계당 시간당 비용
  • 외부 호스팅: 세션당 비용
• 사용자 증가와 함께 비용이 어떻게 확장되는지 파악

연습해 봅시다!

LLMOps 개념