배포

LLMOps 개념

Max Knobbout, PhD

Applied Scientist, Uber

LLM 수명주기: 배포

배포로의 전환

 

 

 

 

• 만능 해법은 없습니다!
• 애플리케이션은 체인/에이전트 로직, 벡터 DB, LLM 등으로 구성될 수 있음
• 각 구성요소를 배포하고 연동해야 합니다

1단계: 호스팅 선택

• 프라이빗/퍼블릭 클라우드 또는 온프레미스 호스팅
• 많은 클라우드 제공업체가 LLM 호스팅/배포 솔루션을 제공합니다

2단계: API 설계

• API는 서로 다른 소프트웨어 간 통신을 가능하게 합니다
• 설계는 확장성, 비용, 인프라 요구에 영향
• 보안이 핵심이며 API 키로 제어합니다!

3단계: 실행 방법

• 옵션:

  1. 컨테이너
  2. 서버리스 함수
  3. 클라우드 관리형 서비스

• 비용, 확장성, 효율성, 유연성 등 장단점

CI/CD

지속적 통합(CI):

1. 소스: 소스 코드 가져오기
2. 빌드: 코드를 포함한 컨테이너 이미지 생성
3. 테스트: 통합 테스트 수행
4. 등록: 레지스트리에 컨테이너 저장

지속적 배포(CD):

1. 가져오기: 레지스트리에서 컨테이너 가져오기
2. 테스트: 배포 테스트 수행
3. 배포: 다음 환경에 배포:
   • 스테이징
   • 프로덕션

확장

 

 

• LLM은 전용 GPU가 필요할 수 있습니다.

• 확장 전략:

  1. 수평: 머신 추가
  2. 수직: 한 머신 성능 증강

• 트래픽에는 수평, 안정성과 속도에는 수직

연습해 봅시다!

LLMOps 개념