모니터링과 가시성

LLMOps 개념

Max Knobbout, PhD

Applied Scientist, Uber

LLM 수명 주기: 모니터링과 가시성

모니터링과 가시성

 

 

• 모니터링은 시스템을 지속적으로 관찰합니다.
• 가시성은 내부 상태를 외부에서 파악 가능하게 합니다.
• 가시성 데이터 소스:
  1. 로그
  2. 메트릭
  3. 트레이스

입력 모니터링

• 입력 모니터링 대상:
  • 변화
  • 오류
  • 악성 콘텐츠
• 데이터 드리프트: 시간이 지남에 따른 입력 분포 변화
• 대응 방법:
  • 데이터 분포 모니터링
  • 모델 주기적 업데이트

기능 모니터링

• 예시:

  • 응답 시간
  • 요청량
  • 다운타임
  • 오류율

• LLM 애플리케이션의 경우:

  • 체인·에이전트 실행
  • 시스템 자원(GPU)
  • 비용

출력 모니터링

• 테스트 중 정의한 지표 사용 예:
  • 편향
  • 독성
  • 유용성
• 모델 드리프트:
  • 입력-출력 간 관계 변화
• 검열은 적극적 개입을 의미합니다

알림 처리

 

 

 

 

• 문제 발생 시 알림 수신
• 명확한 절차 확립
• 서비스 수준 계약(SLA) 적용 가능

연습해 봅시다!

LLMOps 개념