Le librerie per il fine-tuning di Llama

Fine-tuning con Llama 3

Francesca Donadoni

Curriculum Manager, DataCamp

Quando usare il fine-tuning

  • Modello pre-addestrato
  • Usa dati specializzati

Un AI Engineer che guarda una rappresentazione dei parametri del modello.

  • Migliora l’accuratezza
  • Riduce i bias
  • Amplia la base di conoscenza
Fine-tuning con Llama 3

Come usare il fine-tuning

  • Qualità dei dati
  • Capacità del modello
  • Definizione del task

 

  • Processo di fine-tuning

Il ciclo di training. Il training produce un modello fine-tunato. La valutazione usa il modello fine-tunato e un dataset di valutazione.

Fine-tuning con Llama 3

Come usare il fine-tuning

  • Qualità dei dati
  • Capacità del modello
  • Definizione del task

 

  • Processo di fine-tuning

Il ciclo di training. Un dataset di training avvia il training, producendo un modello fine-tunato. La valutazione usa il modello fine-tunato e un dataset di valutazione.

Fine-tuning con Llama 3

Come usare il fine-tuning

  • Qualità dei dati
  • Capacità del modello
  • Definizione del task

 

  • Processo di fine-tuning

Il ciclo di training. Un dataset di training, un modello e un tokenizer avviano il training, producendo un modello fine-tunato. La valutazione usa il modello fine-tunato e un dataset di valutazione.

Fine-tuning con Llama 3

Come usare il fine-tuning

  • Qualità dei dati
  • Capacità del modello
  • Definizione del task

 

  • Processo di fine-tuning

Il ciclo di training. Un dataset di training, parametri, modello e tokenizer avviano il training, producendo un modello fine-tunato. La valutazione usa il modello fine-tunato e un dataset di valutazione.

Fine-tuning con Llama 3

Come usare il fine-tuning

  • Qualità dei dati
  • Capacità del modello
  • Definizione del task

 

  • Processo di fine-tuning
  • Nuovo modello
  • Valutazione

Il ciclo di training. Un dataset di training, parametri, modello, tokenizer e classe di fine-tuning avviano il training, producendo un modello fine-tunato. La valutazione usa il modello fine-tunato e un dataset di valutazione.

Fine-tuning con Llama 3

Le librerie per il fine-tuning di Llama

 

  • 📚 Diverse librerie per il fine-tuning

 

  • 🦙 TorchTune per il fine-tuning di Llama

 

  • 🚀 Avviare un task di fine-tuning con TorchTune
Fine-tuning con Llama 3

Opzioni per il fine-tuning di Llama

  • TorchTune
    • Basato su template configurabili
    • Ideale per: scalare velocemente

Un'icona di un orologio che rappresenta esperimenti rapidi.

  • SFTTrainer di Hugging Face
    • Accesso ad altri LLM
    • Ideale per: fine-tuning di più modelli

Un'icona che rappresenta modelli multipli.

  • Unsloth
    • Uso efficiente della memoria
    • Ideale per: hardware limitato

Un'icona che rappresenta hardware CPU.

  • Axolotl
    • Approccio modulare
    • Ideale per: senza ampie riconfigurazioni

Un'icona di un ingranaggio e una mano che rappresenta una configurazione.

Fine-tuning con Llama 3

TorchTune e le ricette per il fine-tuning

 

 

  • Ricette TorchTune:

    • Template modulari
    • Configurabili per adattarsi a progetti diversi
    • Mantengono il codice ordinato
    • Assicurano riproducibilità

Un'illustrazione di una zuppa in preparazione per rappresentare il concetto di ricetta.

Fine-tuning con Llama 3

Elenco TorchTune

 

  • Esegui da terminale
  • Ambiente con Python
  • Installa TorchTune
    pip3 install torchtune

  • Elenca le ricette disponibili

    tune ls

  • ! se usi IPython

    !tune ls
Fine-tuning con Llama 3

Elenco TorchTune

!tune ls
  • Output:
RECIPE                                   CONFIG                                  
full_finetune_single_device              llama3/8B_full_single_device            
                                         llama3_1/8B_full_single_device          
                                         llama3_2/1B_full_single_device          
                                         llama3_2/3B_full_single_device       
full_finetune_distributed                llama3/8B_full                          
                                         llama3_1/8B_full                        
                                         llama3_2/1B_full                          
                                         ...
Fine-tuning con Llama 3

Esecuzione TorchTune

 

  • Usa ricetta + --config + configurazione

  • Avvia il fine-tuning

    tune run full_finetune_single_device --config \
llama3_1/8B_lora_single_device

  • Parametri device=cpu o device=cuda

  • epochs=<int> (<int> è 0 o un intero positivo)
Fine-tuning con Llama 3

Let's practice!

Fine-tuning con Llama 3

Preparing Video For Download...