Các thư viện tinh chỉnh Llama

Fine-Tuning với Llama 3

Francesca Donadoni

Curriculum Manager, DataCamp

Khi nào dùng tinh chỉnh

  • Mô hình tiền huấn luyện
  • Dùng dữ liệu chuyên biệt

Kỹ sư AI nhìn vào biểu diễn tham số mô hình.

  • Cải thiện độ chính xác
  • Giảm thiên lệch
  • Mở rộng tri thức
Fine-Tuning với Llama 3

Cách sử dụng tinh chỉnh

  • Chất lượng dữ liệu
  • Dung lượng mô hình
  • Định nghĩa tác vụ

 

  • Quy trình tinh chỉnh

Vòng lặp huấn luyện. Huấn luyện tạo ra mô hình đã tinh chỉnh. Đánh giá dùng mô hình đã tinh chỉnh và bộ dữ liệu đánh giá.

Fine-Tuning với Llama 3

Cách sử dụng tinh chỉnh

  • Chất lượng dữ liệu
  • Dung lượng mô hình
  • Định nghĩa tác vụ

 

  • Quy trình tinh chỉnh

Vòng lặp huấn luyện. Bộ dữ liệu huấn luyện được dùng để bắt đầu huấn luyện, tạo ra mô hình đã tinh chỉnh. Đánh giá dùng mô hình đã tinh chỉnh và bộ dữ liệu đánh giá.

Fine-Tuning với Llama 3

Cách sử dụng tinh chỉnh

  • Chất lượng dữ liệu
  • Dung lượng mô hình
  • Định nghĩa tác vụ

 

  • Quy trình tinh chỉnh

Vòng lặp huấn luyện. Bộ dữ liệu huấn luyện, mô hình và tokenizer được dùng để bắt đầu huấn luyện, tạo ra mô hình đã tinh chỉnh. Đánh giá dùng mô hình đã tinh chỉnh và bộ dữ liệu đánh giá.

Fine-Tuning với Llama 3

Cách sử dụng tinh chỉnh

  • Chất lượng dữ liệu
  • Dung lượng mô hình
  • Định nghĩa tác vụ

 

  • Quy trình tinh chỉnh

Vòng lặp huấn luyện. Bộ dữ liệu huấn luyện, tham số, mô hình và tokenizer được dùng để bắt đầu huấn luyện, tạo ra mô hình đã tinh chỉnh. Đánh giá dùng mô hình đã tinh chỉnh và bộ dữ liệu đánh giá.

Fine-Tuning với Llama 3

Cách sử dụng tinh chỉnh

  • Chất lượng dữ liệu
  • Dung lượng mô hình
  • Định nghĩa tác vụ

 

  • Quy trình tinh chỉnh
  • Mô hình mới
  • Đánh giá

Vòng lặp huấn luyện. Bộ dữ liệu huấn luyện, tham số, mô hình, tokenizer và lớp tinh chỉnh được dùng để bắt đầu huấn luyện, tạo ra mô hình đã tinh chỉnh. Đánh giá dùng mô hình đã tinh chỉnh và bộ dữ liệu đánh giá.

Fine-Tuning với Llama 3

Các thư viện tinh chỉnh Llama

 

  • 📚 Nhiều thư viện để tinh chỉnh

 

  • 🦙 TorchTune để tinh chỉnh Llama

 

  • 🚀 Khởi chạy tác vụ tinh chỉnh với TorchTune
Fine-Tuning với Llama 3

Tùy chọn tinh chỉnh Llama

  • TorchTune
    • Dựa trên mẫu cấu hình
    • Phù hợp: mở rộng nhanh

Biểu tượng đồng hồ cho thử nghiệm nhanh.

  • SFTTrainer của Hugging Face
    • Truy cập các LLM khác
    • Phù hợp: tinh chỉnh nhiều mô hình

Biểu tượng đại diện nhiều mô hình.

  • Unsloth
    • Dùng bộ nhớ hiệu quả
    • Phù hợp: phần cứng hạn chế

Biểu tượng phần cứng CPU.

  • Axolotl
    • Cách tiếp cận mô-đun
    • Phù hợp: không cần tái cấu hình lớn

Biểu tượng bánh răng và bàn tay biểu thị cấu hình.

Fine-Tuning với Llama 3

TorchTune và các công thức tinh chỉnh

 

 

  • Công thức TorchTune:

    • Mẫu mô-đun
    • Cấu hình để phù hợp nhiều dự án
    • Giữ mã gọn gàng
    • Đảm bảo tái lập

Minh họa nấu súp để diễn tả khái niệm công thức.

Fine-Tuning với Llama 3

Danh sách TorchTune

 

  • Chạy từ terminal
  • Môi trường có Python
  • Cài TorchTune
    pip3 install torchtune

  • Liệt kê công thức có sẵn

    tune ls

  • ! khi dùng IPython

    !tune ls
Fine-Tuning với Llama 3

Danh sách TorchTune

!tune ls
  • Đầu ra:
RECIPE                                   CONFIG                                  
full_finetune_single_device              llama3/8B_full_single_device            
                                         llama3_1/8B_full_single_device          
                                         llama3_2/1B_full_single_device          
                                         llama3_2/3B_full_single_device       
full_finetune_distributed                llama3/8B_full                          
                                         llama3_1/8B_full                        
                                         llama3_2/1B_full                          
                                         ...
Fine-Tuning với Llama 3

TorchTune run

 

  • Dùng recipe + --config + cấu hình

  • Chạy tinh chỉnh

    tune run full_finetune_single_device --config \
llama3_1/8B_lora_single_device

  • Tham số device=cpu hoặc device=cuda

  • epochs=<int> (<int> là 0 hoặc số nguyên dương)
Fine-Tuning với Llama 3

Ayo berlatih!

Fine-Tuning với Llama 3

Preparing Video For Download...