Les bibliothèques de réglage fin de Llama

Ajustement fin avec Llama 3

Francesca Donadoni

Curriculum Manager, DataCamp

Quand utiliser le réglage fin

  • Modèle pré-entraîné
  • Utilise des données spécialisées

Un ingénieur IA examinant une représentation des paramètres du modèle.

  • Améliorer la précision
  • Réduire les biais
  • Enrichir la base de connaissances
Ajustement fin avec Llama 3

Comment utiliser le réglage fin

  • Qualité des données
  • Capacité du modèle
  • Définition de la tâche

 

  • Processus de réglage fin

La boucle d'entraînement. L'entraînement produit un modèle ajusté. L'évaluation se fait avec le modèle ajusté et un jeu d'évaluation.

Ajustement fin avec Llama 3

Comment utiliser le réglage fin

  • Qualité des données
  • Capacité du modèle
  • Définition de la tâche

 

  • Processus de réglage fin

La boucle d'entraînement. Un jeu d'entraînement lance l'entraînement, produisant un modèle ajusté. L'évaluation se fait avec le modèle ajusté et un jeu d'évaluation.

Ajustement fin avec Llama 3

Comment utiliser le réglage fin

  • Qualité des données
  • Capacité du modèle
  • Définition de la tâche

 

  • Processus de réglage fin

La boucle d'entraînement. Un jeu d'entraînement, un modèle et un tokenizer lancent l'entraînement, produisant un modèle ajusté. L'évaluation se fait avec le modèle ajusté et un jeu d'évaluation.

Ajustement fin avec Llama 3

Comment utiliser le réglage fin

  • Qualité des données
  • Capacité du modèle
  • Définition de la tâche

 

  • Processus de réglage fin

La boucle d'entraînement. Un jeu d'entraînement, des arguments, un modèle et un tokenizer lancent l'entraînement, produisant un modèle ajusté. L'évaluation se fait avec le modèle ajusté et un jeu d'évaluation.

Ajustement fin avec Llama 3

Comment utiliser le réglage fin

  • Qualité des données
  • Capacité du modèle
  • Définition de la tâche

 

  • Processus de réglage fin
  • Nouveau modèle
  • Évaluation

La boucle d'entraînement. Un jeu d'entraînement, des arguments, un modèle, un tokenizer et une classe de réglage fin lancent l'entraînement, produisant un modèle ajusté. L'évaluation se fait avec le modèle ajusté et un jeu d'évaluation.

Ajustement fin avec Llama 3

Les bibliothèques de réglage fin de Llama

 

  • 📚 Plusieurs bibliothèques pour le réglage fin

 

  • 🦙 TorchTune pour le réglage fin de Llama

 

  • 🚀 Lancer une tâche de réglage fin avec TorchTune
Ajustement fin avec Llama 3

Options pour le réglage fin de Llama

  • TorchTune
    • Basé sur des modèles configurables
    • Idéal pour : monter en charge rapidement

Une icône d'horloge représentant une expérimentation rapide.

  • SFTTrainer de Hugging Face
    • Accès à d'autres LLM
    • Idéal pour : ajuster plusieurs modèles

Une icône représentant plusieurs modèles.

  • Unsloth
    • Utilisation mémoire efficace
    • Idéal pour : matériel limité

Une icône représentant du matériel CPU.

  • Axolotl
    • Approche modulaire
    • Idéal pour : sans reconfiguration lourde

Une icône d'un engrenage et d'une main représentant une configuration.

Ajustement fin avec Llama 3

TorchTune et les recettes de réglage fin

 

 

  • Recettes TorchTune :

    • Modèles modulaires
    • Configurables pour s'adapter à différents projets
    • Gardent le code organisé
    • Assurent la reproductibilité

Une illustration d'une soupe en préparation pour illustrer une recette.

Ajustement fin avec Llama 3

Liste TorchTune

 

  • Exécuter depuis un terminal
  • Environnement avec Python
  • Installer TorchTune
    pip3 install torchtune

  • Lister les recettes disponibles

    tune ls

  • ! si vous utilisez IPython

    !tune ls
Ajustement fin avec Llama 3

Liste TorchTune

!tune ls
  • Sortie :
RECIPE                                   CONFIG                                  
full_finetune_single_device              llama3/8B_full_single_device            
                                         llama3_1/8B_full_single_device          
                                         llama3_2/1B_full_single_device          
                                         llama3_2/3B_full_single_device       
full_finetune_distributed                llama3/8B_full                          
                                         llama3_1/8B_full                        
                                         llama3_2/1B_full                          
                                         ...
Ajustement fin avec Llama 3

Exécuter TorchTune

 

  • Utiliser la recette + --config + configuration

  • Lancer le réglage fin

    tune run full_finetune_single_device --config \
llama3_1/8B_lora_single_device

  • Paramètres device=cpu ou device=cuda

  • epochs=<int> (<int> est 0 ou un entier positif)
Ajustement fin avec Llama 3

Passons à la pratique !

Ajustement fin avec Llama 3

Preparing Video For Download...