Die Llama-Fine-Tuning-Bibliotheken

Feinabstimmung mit Llama 3

Francesca Donadoni

Curriculum Manager, DataCamp

Wann Fine-Tuning nutzen

  • Vorgefertigtes Modell
  • Nutzt spezielles Datenmaterial

Eine KI-Ingenieurin betrachtet eine Darstellung von Modellparametern.

  • Genauigkeit erhöhen
  • Bias verringern
  • Wissensbasis erweitern
Feinabstimmung mit Llama 3

Wie man Fine-Tuning nutzt

  • Datenqualität
  • Modellkapazität
  • Aufgabendefinition

 

  • Fine-Tuning-Prozess

Die Trainingsschleife. Das Training erzeugt ein feinabgestimmtes Modell. Die Auswertung erfolgt mit dem feinabgestimmten Modell und einem Evaluationsdatensatz.

Feinabstimmung mit Llama 3

Wie man Fine-Tuning nutzt

  • Datenqualität
  • Modellkapazität
  • Aufgabendefinition

 

  • Fine-Tuning-Prozess

Die Trainingsschleife. Ein Trainingsdatensatz startet das Training und erzeugt ein feinabgestimmtes Modell. Die Auswertung erfolgt mit dem feinabgestimmten Modell und einem Evaluationsdatensatz.

Feinabstimmung mit Llama 3

Wie man Fine-Tuning nutzt

  • Datenqualität
  • Modellkapazität
  • Aufgabendefinition

 

  • Fine-Tuning-Prozess

Die Trainingsschleife. Ein Trainingsdatensatz, Modell und Tokenizer starten das Training und erzeugen ein feinabgestimmtes Modell. Die Auswertung erfolgt mit dem feinabgestimmten Modell und einem Evaluationsdatensatz.

Feinabstimmung mit Llama 3

Wie man Fine-Tuning nutzt

  • Datenqualität
  • Modellkapazität
  • Aufgabendefinition

 

  • Fine-Tuning-Prozess

Die Trainingsschleife. Ein Trainingsdatensatz, Argumente, Modell und Tokenizer starten das Training und erzeugen ein feinabgestimmtes Modell. Die Auswertung erfolgt mit dem feinabgestimmten Modell und einem Evaluationsdatensatz.

Feinabstimmung mit Llama 3

Wie man Fine-Tuning nutzt

  • Datenqualität
  • Modellkapazität
  • Aufgabendefinition

 

  • Fine-Tuning-Prozess
  • Neues Modell
  • Evaluation

Die Trainingsschleife. Ein Trainingsdatensatz, Argumente, Modell, Tokenizer und Fine-Tuning-Klasse starten das Training und erzeugen ein feinabgestimmtes Modell. Die Auswertung erfolgt mit dem feinabgestimmten Modell und einem Evaluationsdatensatz.

Feinabstimmung mit Llama 3

Die Llama-Fine-Tuning-Bibliotheken

 

  • 📚 Mehrere Bibliotheken fürs Fine-Tuning

 

  • 🦙 TorchTune für Llama-Fine-Tuning

 

  • 🚀 Fine-Tuning-Job mit TorchTune starten
Feinabstimmung mit Llama 3

Optionen fürs Llama-Fine-Tuning

  • TorchTune
    • Auf konfigurierbaren Vorlagen basiert
    • Ideal für: schnell skalieren

Ein Uhren-Icon für schnelles Experimentieren.

  • SFTTrainer von Hugging Face
    • Zugriff auf andere LLMs
    • Ideal für: mehrere Modelle feinabstimmen

Ein Icon für mehrere Modelle.

  • Unsloth
    • Speicher effizient nutzen
    • Ideal für: begrenzte Hardware

Ein Icon für CPU-Hardware.

  • Axolotl
    • Modularer Ansatz
    • Ideal für: keine große Neukonfiguration

Ein Zahnrad-und-Hand-Icon für Konfiguration.

Feinabstimmung mit Llama 3

TorchTune und Rezepte fürs Fine-Tuning

 

 

  • TorchTune-Rezepte:

    • Modulare Vorlagen
    • Konfigurierbar für verschiedene Projekte
    • Hält Code übersichtlich
    • Sichert Reproduzierbarkeit

Eine Illustration einer zubereiteten Suppe als Metapher für ein Rezept.

Feinabstimmung mit Llama 3

TorchTune list

 

  • Aus dem Terminal ausführen
  • Umgebung mit Python
  • TorchTune installieren
    pip3 install torchtune

  • Verfügbare Rezepte auflisten

    tune ls

  • ! bei Nutzung von IPython

    !tune ls
Feinabstimmung mit Llama 3

TorchTune list

!tune ls
  • Ausgabe:
RECIPE                                   CONFIG                                  
full_finetune_single_device              llama3/8B_full_single_device            
                                         llama3_1/8B_full_single_device          
                                         llama3_2/1B_full_single_device          
                                         llama3_2/3B_full_single_device       
full_finetune_distributed                llama3/8B_full                          
                                         llama3_1/8B_full                        
                                         llama3_2/1B_full                          
                                         ...
Feinabstimmung mit Llama 3

TorchTune run

 

  • Nutze Rezept + --config + Konfiguration

  • Fine-Tuning ausführen

    tune run full_finetune_single_device --config \
llama3_1/8B_lora_single_device

  • Parameter device=cpu oder device=cuda

  • epochs=<int> (<int> ist 0 oder eine positive ganze Zahl)
Feinabstimmung mit Llama 3

Lass uns üben!

Feinabstimmung mit Llama 3

Preparing Video For Download...