Pustaka fine-tuning Llama

Fine-Tuning dengan Llama 3

Francesca Donadoni

Curriculum Manager, DataCamp

Kapan menggunakan fine-tuning

  • Model pra-latih
  • Gunakan data khusus

Seorang AI Engineer melihat representasi parameter model.

  • Tingkatkan akurasi
  • Kurangi bias
  • Perkaya basis pengetahuan
Fine-Tuning dengan Llama 3

Cara menggunakan fine-tuning

  • Kualitas data
  • Kapasitas model
  • Definisi tugas

 

  • Proses fine-tuning

Siklus pelatihan. Pelatihan menghasilkan model yang di-fine-tune. Evaluasi dilakukan dengan model yang di-fine-tune dan dataset evaluasi.

Fine-Tuning dengan Llama 3

Cara menggunakan fine-tuning

  • Kualitas data
  • Kapasitas model
  • Definisi tugas

 

  • Proses fine-tuning

Siklus pelatihan. Dataset pelatihan digunakan untuk memulai pelatihan dan menghasilkan model yang di-fine-tune. Evaluasi dilakukan dengan model yang di-fine-tune dan dataset evaluasi.

Fine-Tuning dengan Llama 3

Cara menggunakan fine-tuning

  • Kualitas data
  • Kapasitas model
  • Definisi tugas

 

  • Proses fine-tuning

Siklus pelatihan. Dataset pelatihan, model, dan tokenizer digunakan untuk memulai pelatihan dan menghasilkan model yang di-fine-tune. Evaluasi dilakukan dengan model yang di-fine-tune dan dataset evaluasi.

Fine-Tuning dengan Llama 3

Cara menggunakan fine-tuning

  • Kualitas data
  • Kapasitas model
  • Definisi tugas

 

  • Proses fine-tuning

Siklus pelatihan. Dataset pelatihan, argumen, model, dan tokenizer digunakan untuk memulai pelatihan dan menghasilkan model yang di-fine-tune. Evaluasi dilakukan dengan model yang di-fine-tune dan dataset evaluasi.

Fine-Tuning dengan Llama 3

Cara menggunakan fine-tuning

  • Kualitas data
  • Kapasitas model
  • Definisi tugas

 

  • Proses fine-tuning
  • Model baru
  • Evaluasi

Siklus pelatihan. Dataset pelatihan, argumen, model, tokenizer, dan kelas fine-tuning digunakan untuk memulai pelatihan dan menghasilkan model yang di-fine-tune. Evaluasi dilakukan dengan model yang di-fine-tune dan dataset evaluasi.

Fine-Tuning dengan Llama 3

Pustaka fine-tuning Llama

 

  • 📚 Beberapa pustaka untuk fine-tuning

 

  • 🦙 TorchTune untuk fine-tuning Llama

 

  • 🚀 Menjalankan tugas fine-tuning dengan TorchTune
Fine-Tuning dengan Llama 3

Opsi fine-tuning Llama

  • TorchTune
    • Berbasis templat yang dapat dikonfigurasi
    • Cocok untuk: skala cepat

Ikon jam yang mewakili eksperimen cepat.

  • SFTTrainer dari Hugging Face
    • Akses ke LLM lain
    • Cocok untuk: fine-tuning banyak model

Ikon yang mewakili banyak model.

  • Unsloth
    • Penggunaan memori efisien
    • Cocok untuk: perangkat keras terbatas

Ikon yang mewakili perangkat keras CPU.

  • Axolotl
    • Pendekatan modular
    • Cocok untuk: tanpa re-konfigurasi ekstensif

Ikon roda gigi dan tangan yang mewakili konfigurasi.

Fine-Tuning dengan Llama 3

TorchTune dan resep untuk fine-tuning

 

 

  • Resep TorchTune:

    • Templat modular
    • Dapat dikonfigurasi untuk berbagai proyek
    • Menjaga kode tetap rapi
    • Memastikan reprodusibilitas

Ilustrasi memasak sup untuk menggambarkan konsep resep.

Fine-Tuning dengan Llama 3

Daftar TorchTune

 

  • Jalankan dari terminal
  • Lingkungan dengan Python
  • Instal TorchTune
    pip3 install torchtune

  • Daftar resep yang tersedia

    tune ls

  • ! jika menggunakan IPython

    !tune ls
Fine-Tuning dengan Llama 3

Daftar TorchTune

!tune ls
  • Keluaran:
RECIPE                                   CONFIG                                  
full_finetune_single_device              llama3/8B_full_single_device            
                                         llama3_1/8B_full_single_device          
                                         llama3_2/1B_full_single_device          
                                         llama3_2/3B_full_single_device       
full_finetune_distributed                llama3/8B_full                          
                                         llama3_1/8B_full                        
                                         llama3_2/1B_full                          
                                         ...
Fine-Tuning dengan Llama 3

Menjalankan TorchTune

 

  • Gunakan recipe + --config + konfigurasi

  • Jalankan fine-tuning

    tune run full_finetune_single_device --config \
llama3_1/8B_lora_single_device

  • Parameter device=cpu atau device=cuda

  • epochs=<int> (<int> adalah 0 atau bilangan bulat positif)
Fine-Tuning dengan Llama 3

Ayo berlatih!

Fine-Tuning dengan Llama 3

Preparing Video For Download...