Fine-tuning con TorchTune

Fine-tuning con Llama 3

Francesca Donadoni

Curriculum Manager, DataCamp

Componenti del fine-tuning con TorchTune

  • Modello

    • Definisce architettura e pesi pre-addestrati da ottimizzare
    • Diverse versioni e dimensioni disponibili

  • Dataset

    • Dati usati per l’addestramento

  • Ricetta

    • File di configurazione che combina modello, dataset e parametri di training
    • Garantisce coerenza e riproducibilità

Foto: architettura del modello

Foto: dataset

Foto: file di configurazione

Fine-tuning con Llama 3

Componenti del fine-tuning con TorchTune

  • Modello

    • !tune ls
      llama3/8B_full
llama3_1/8B_full
llama3_2/1B_full ...

  • Dataset

    • ds.save_to_disk("new_dataset")

  • Ricetta

    • custom_recipe.yaml

Foto: architettura del modello

Foto: dataset

Foto: file di configurazione

Fine-tuning con Llama 3

Componenti di una ricetta TorchTune

  • Impostazioni generali e cartella output
    • Batch size, device, epoche

 

  • Modello
    • Architettura e configurazioni

 

  • Ottimizzatore

    • Include il learning rate

  • Dataset

    • Preprocessing e percorso del dataset
batch_size: 4
device: cuda
epochs: 20
output_dir: /tmp/full-llama3.2-finetune

model:
  _component_: 
      torchtune.models.llama3_2.llama3_2_1b

optimizer:
  _component_: bitsandbytes.optim.PagedAdamW8bit
  lr: 2.0e-05

dataset:
  _component_: torchtune.datasets.alpaca_dataset
Fine-tuning con Llama 3

Configurare le ricette TorchTune

  • Più parametri disponibili
  • Configurabile in Python con yaml
import yaml

config_dict = {"batch_size": 4,
               "device": "cuda",
               "model": {
                 "_component_": "torchtune.models.llama3_2.llama3_2_1b"
                },
                ...
}

yaml_file_path = "custom_recipe.yaml"
with open(yaml_file_path, "w") as yaml_file:
    yaml.dump(config_dict, yaml_file)
Fine-tuning con Llama 3

Eseguire il fine-tuning personalizzato

tune run --config custom_recipe.yaml

INFO:torchtune.utils.logging:Running 
Writing logs to /tmp/full-llama3.2-finetune/log_1732815689.txt
INFO:torchtune.utils.logging:Model is initialized with precision torch.bfloat16.
INFO:torchtune.utils.logging:Tokenizer is initialized from file.
1|52|Loss: 2.3697006702423096:   0%|▏                     | 52/25880
  • Log salvati
  • Inizializzazione riuscita
  • Avanzamento epoche e step
  • Metriche di loss
Fine-tuning con Llama 3

Passiamo alla pratica !

Fine-tuning con Llama 3

Preparing Video For Download...