RAG vs 파인튜닝

LLMOps 개념

Max Knobbout, PhD

Applied Scientist, Uber

LLM 라이프사이클: RAG vs 파인튜닝

LLM 애플리케이션 라이프사이클 단계 개요

Retrieval Augmented Generation(RAG)

바나나로 태블릿에 전원을 넣는 장난스러운 만화

LLM의 추론 능력과 외부 지식을 결합합니다.
체인은 세 단계:
1. 관련 문서 검색
2. 예시로 프롬프트 증강
3. 결과 생성
보통 벡터 DB로 구현합니다.

벡터 DB를 쓰는 RAG 체인

검색(Retrieve):
- 입력을 임베딩으로 변환
- 벡터 DB 검색
- 가장 유사한 문서 검색

검색 체인

벡터 DB를 쓰는 RAG 체인

검색(Retrieve):
- 입력에서 임베딩 생성
- 벡터 DB 검색
- 가장 유사한 문서 검색
증강(Augment):
- 입력과 문서를 결합해 최종 프롬프트 생성

증강 체인

벡터 DB를 쓰는 RAG 체인

검색(Retrieve):
- 입력에서 임베딩 생성
- 벡터 DB 검색
- 가장 유사한 문서 검색
증강(Augment):
- 입력과 상위 k개 문서를 결합해 증강 프롬프트 작성
생성(Generate):
- 프롬프트로 출력 생성

구현 선택지와 임베딩 모델이 다양합니다. 실험하고 검증하세요!

생성 체인

파인튜닝

LLM 가중치 조정
특정 작업·도메인으로 확장:
- 다양한 언어
- 특수 분야

파인튜닝

지도 파인튜닝 (전이학습)

필요한 데이터 📂:

데모 데이터(입력과 기대 출력)

인간 피드백 강화학습(RLHF)

필요한 데이터 📂:

순위 또는 품질 점수(좋아요/싫어요 등에서 획득)

접근법 🔍:

모델(일부)을 재학습

접근법 🔍:

보상 모델 추가 학습
이를 최대화하도록 원본 LLM 최적화

RAG 또는 파인튜닝

RAG

사실 지식 포함이 필요할 때 사용
✅ LLM 능력 유지, 구현 용이, 항상 최신
❌ 구성 요소 추가, 정교한 엔지니어링 필요

바나나로 태블릿에 전원을 넣는 장난스러운 만화

파인튜닝

새 도메인 전문화가 필요할 때 사용
✅ 완전한 제어, 추가 구성 요소 불필요
❌ 라벨 데이터·전문 지식 필요, 편향 증폭, 치명적 망각 위험

개발 주기

체인·에이전트 개발 활동이 추가된 개발 주기

개발 주기

RAG 활동이 추가된 개발 주기

개발 주기

파인튜닝 활동이 추가된 개발 주기

Ayo berlatih!

LLMOps 개념

Preparing Video For Download...