Knihovny pro fine-tuning Llama

Fine-Tuning s Llama 3

Francesca Donadoni

Curriculum Manager, DataCamp

Kdy použít fine-tuning

  • Předtrénovaný model
  • Využívá specializovaná data

Inženýr AI prohlížející reprezentaci parametrů modelu.

  • Zlepšení přesnosti
  • Snížení zkreslení
  • Rozšíření znalostní báze
Fine-Tuning s Llama 3

Jak používat fine-tuning

  • Kvalita dat
  • Kapacita modelu
  • Definice úlohy

 

  • Proces fine-tuningu

Tréninkový cyklus. Trénink vytvoří fine-tunovaný model. Evaluace probíhá s fine-tunovaným modelem a evaluační sadou.

Fine-Tuning s Llama 3

Jak používat fine-tuning

  • Kvalita dat
  • Kapacita modelu
  • Definice úlohy

 

  • Proces fine-tuningu

Tréninkový cyklus. Tréninková sada je použita ke spuštění tréningu, který vytvoří fine-tunovaný model. Evaluace probíhá s fine-tunovaným modelem a evaluační sadou.

Fine-Tuning s Llama 3

Jak používat fine-tuning

  • Kvalita dat
  • Kapacita modelu
  • Definice úlohy

 

  • Proces fine-tuningu

Tréninkový cyklus. Tréninková sada, model a tokenizátor jsou použity ke spuštění tréningu, který vytvoří fine-tunovaný model. Evaluace probíhá s fine-tunovaným modelem a evaluační sadou.

Fine-Tuning s Llama 3

Jak používat fine-tuning

  • Kvalita dat
  • Kapacita modelu
  • Definice úlohy

 

  • Proces fine-tuningu

Tréninkový cyklus. Tréninková sada, argumenty, model a tokenizátor jsou použity ke spuštění tréningu, který vytvoří fine-tunovaný model. Evaluace probíhá s fine-tunovaným modelem a evaluační sadou.

Fine-Tuning s Llama 3

Jak používat fine-tuning

  • Kvalita dat
  • Kapacita modelu
  • Definice úlohy

 

  • Proces fine-tuningu
  • Nový model
  • Evaluace

Tréninkový cyklus. Tréninková sada, argumenty, model, tokenizátor a třída pro fine-tuning jsou použity ke spuštění tréningu, který vytvoří fine-tunovaný model. Evaluace probíhá s fine-tunovaným modelem a evaluační sadou.

Fine-Tuning s Llama 3

Knihovny pro fine-tuning Llama

 

  • 📚 Několik knihoven pro fine-tuning

 

  • 🦙 TorchTune pro fine-tuning Llama

 

  • 🚀 Spuštění fine-tuningu pomocí TorchTune
Fine-Tuning s Llama 3

Možnosti fine-tuningu Llama

  • TorchTune
    • Založen na konfigurovatelných šablonách
    • Ideální pro: rychlé škálování

Ikona hodin reprezentující rychlé experimentování.

  • SFTTrainer od Hugging Face
    • Přístup k dalším LLM
    • Ideální pro: fine-tuning více modelů

Ikona reprezentující více modelů.

  • Unsloth
    • Efektivní využití paměti
    • Ideální pro: omezený hardware

Ikona reprezentující CPU hardware.

  • Axolotl
    • Modulární přístup
    • Ideální pro: bez rozsáhlé rekonfigurace

Ikona ozubeného kola a ruky reprezentující konfiguraci.

Fine-Tuning s Llama 3

TorchTune a recepty pro fine-tuning

 

 

  • Recepty TorchTune:

    • Modulární šablony
    • Konfigurovatelné pro různé projekty
    • Udržují kód přehledný
    • Zajišťují reprodukovatelnost

Ilustrace přípravy polévky znázorňující koncept receptu.

Fine-Tuning s Llama 3

Seznam TorchTune

 

  • Spuštění z terminálu
  • Prostředí s Pythonem
  • Instalace TorchTune
    pip3 install torchtune

  • Výpis dostupných receptů

    tune ls

  • ! při použití IPython

    !tune ls
Fine-Tuning s Llama 3

Seznam TorchTune

!tune ls
  • Výstup:
RECIPE                                   CONFIG                                  
full_finetune_single_device              llama3/8B_full_single_device            
                                         llama3_1/8B_full_single_device          
                                         llama3_2/1B_full_single_device          
                                         llama3_2/3B_full_single_device       
full_finetune_distributed                llama3/8B_full                          
                                         llama3_1/8B_full                        
                                         llama3_2/1B_full                          
                                         ...
Fine-Tuning s Llama 3

Spuštění TorchTune

 

  • Použití receptu + --config + konfigurace

  • Spuštění fine-tuningu

    tune run full_finetune_single_device --config \
llama3_1/8B_lora_single_device

  • Parametry device=cpu nebo device=cuda

  • epochs=<int> (<int> je 0 nebo kladné celé číslo)
Fine-Tuning s Llama 3

Pojďme si procvičit!

Fine-Tuning s Llama 3

Preparing Video For Download...