Llama 파인튜닝 라이브러리

Llama 3 미세 조정(Fine-Tuning)

Francesca Donadoni

Curriculum Manager, DataCamp

파인튜닝이 도움이 될 때

  • 사전 학습된 모델
  • 특화 데이터 사용

모델 파라미터 표현을 보는 AI 엔지니어.

  • 정확도 향상
  • 편향 감소
  • 지식 기반 강화
Llama 3 미세 조정(Fine-Tuning)

파인튜닝 활용 방법

  • 데이터 품질
  • 모델 용량
  • 작업 정의

 

  • 파인튜닝 프로세스

훈련 루프. 훈련으로 파인튜닝된 모델이 생성됩니다. 평가 데이터셋으로 파인튜닝된 모델을 평가합니다.

Llama 3 미세 조정(Fine-Tuning)

파인튜닝 활용 방법

  • 데이터 품질
  • 모델 용량
  • 작업 정의

 

  • 파인튜닝 프로세스

훈련 루프. 훈련 데이터셋으로 훈련을 시작해 파인튜닝된 모델을 생성합니다. 평가 데이터셋으로 파인튜닝된 모델을 평가합니다.

Llama 3 미세 조정(Fine-Tuning)

파인튜닝 활용 방법

  • 데이터 품질
  • 모델 용량
  • 작업 정의

 

  • 파인튜닝 프로세스

훈련 루프. 훈련 데이터셋, 모델, 토크나이저로 훈련을 시작해 파인튜닝된 모델을 생성합니다. 평가 데이터셋으로 파인튜닝된 모델을 평가합니다.

Llama 3 미세 조정(Fine-Tuning)

파인튜닝 활용 방법

  • 데이터 품질
  • 모델 용량
  • 작업 정의

 

  • 파인튜닝 프로세스

훈련 루프. 훈련 데이터셋, 인자, 모델, 토크나이저로 훈련을 시작해 파인튜닝된 모델을 생성합니다. 평가 데이터셋으로 파인튜닝된 모델을 평가합니다.

Llama 3 미세 조정(Fine-Tuning)

파인튜닝 활용 방법

  • 데이터 품질
  • 모델 용량
  • 작업 정의

 

  • 파인튜닝 프로세스
  • 새 모델
  • 평가

훈련 루프. 훈련 데이터셋, 인자, 모델, 토크나이저, 파인튜닝 클래스로 훈련을 시작해 파인튜닝된 모델을 생성합니다. 평가 데이터셋으로 파인튜닝된 모델을 평가합니다.

Llama 3 미세 조정(Fine-Tuning)

Llama 파인튜닝 라이브러리

 

  • 📚 파인튜닝용 라이브러리 여러 개

 

  • 🦙 Llama 파인튜닝용 TorchTune

 

  • 🚀 TorchTune으로 파인튜닝 작업 시작하기
Llama 3 미세 조정(Fine-Tuning)

Llama 파인튜닝 옵션

  • TorchTune
    • 구성 가능한 템플릿 기반
    • 적합: 빠른 확장

빠른 실험을 나타내는 시계 아이콘.

  • Hugging Face의 SFTTrainer
    • 다른 LLM 접근
    • 적합: 여러 모델 파인튜닝

여러 모델을 나타내는 아이콘.

  • Unsloth
    • 메모리 효율적
    • 적합: 제한된 하드웨어

CPU 하드웨어를 나타내는 아이콘.

  • Axolotl
    • 모듈식 접근
    • 적합: 광범위한 재구성 불필요

구성을 나타내는 기어와 손 아이콘.

Llama 3 미세 조정(Fine-Tuning)

TorchTune과 파인튜닝 레시피

 

 

  • TorchTune 레시피:

    • 모듈형 템플릿
    • 프로젝트별로 구성 가능
    • 코드 정리 유지
    • 재현성 보장

레시피 개념을 나타내는 수프 조리 일러스트.

Llama 3 미세 조정(Fine-Tuning)

TorchTune 목록 보기

 

  • 터미널에서 실행
  • Python 환경
  • TorchTune 설치
    pip3 install torchtune

  • 사용 가능한 레시피 나열

    tune ls

  • ! IPython 사용 시

    !tune ls
Llama 3 미세 조정(Fine-Tuning)

TorchTune 목록 보기

!tune ls
  • 출력:
RECIPE                                   CONFIG                                  
full_finetune_single_device              llama3/8B_full_single_device            
                                         llama3_1/8B_full_single_device          
                                         llama3_2/1B_full_single_device          
                                         llama3_2/3B_full_single_device       
full_finetune_distributed                llama3/8B_full                          
                                         llama3_1/8B_full                        
                                         llama3_2/1B_full                          
                                         ...
Llama 3 미세 조정(Fine-Tuning)

TorchTune 실행

 

  • 레시피 + --config + 구성 사용

  • 파인튜닝 실행

    tune run full_finetune_single_device --config \
llama3_1/8B_lora_single_device

  • 매개변수 device=cpu 또는 device=cuda

  • epochs=<int> (<int>은 0 이상 정수)
Llama 3 미세 조정(Fine-Tuning)

연습해 봅시다!

Llama 3 미세 조정(Fine-Tuning)

Preparing Video For Download...