테스트

LLMOps 개념

Max Knobbout, PhD

Applied Scientist, Uber

LLM 라이프사이클: 테스트

왜 테스트해야 하나요?

 

 

 

• LLM은 실수합니다
• 배포 준비도를 평가하려면 테스트가 필수입니다
• 우리는 출력 평가를 다룹니다

전통적 ML vs. LLM 애플리케이션 테스트

전통적인 지도학습 ML:

• 학습/테스트용 라벨링 데이터 필요
• 정답과의 일치도(정확도 등) 중심 지표

LLM 애플리케이션:

• 테스트 데이터 필요, 라벨은 선택
• 다양한 지표로 출력 품질 평가

1단계: 테스트 세트 구축

 

 

 

• 이제 테스트 세트 구성이 완료되어야 합니다
• 테스트 데이터는 실제 시나리오와 유사해야 합니다
• 다양한 도구가 이 과정을 도울 수 있습니다

2단계: 지표 선택

정답이 있다면...

• ... 머신러닝 지표를 사용합니다. 예:
  • Accuracy

2단계: 지표 선택

참조 답안이 있다면...

• ... 통계적 방법을 사용합니다.
• ... 모델 기반 방법을 사용합니다. 예:
  • LLM judges

2단계: 지표 선택

사람 피드백이 있다면...

• ... 사람이 텍스트를 평가합니다. 예:
  • 품질 평가
  • 적합성 평가
  • 일관성 평가
• ... 모델 기반 접근을 사용합니다. 예:
  • 과거 피드백으로 평점 예측
  • LLM judge에게 피드백 반영 여부 질문

2단계: 지표 선택

사람 피드백이 없다면...

• ... 비지도 지표를 사용합니다. 예:
  • Coherence
  • Fluency
  • Diversity

3단계: 선택적 보조 지표 정의

 

 

출력 특성:

• 🎭 편향
• ☠ 유해성
• 🤝 유용성

 

 

운영 특성:

• ⏱ 지연 시간
• 💰 총 비용
• 💻 메모리 사용량

개발 주기

개발 주기

개발 주기

개발 주기

Lass uns üben!

LLMOps 개념