De Llama-finetuningbibliotheken

Fijn-afstemmen met Llama 3

Francesca Donadoni

Curriculum Manager, DataCamp

Wanneer finetuning gebruiken

Voorgetraind model
Gebruikt gespecialiseerde data

Een AI-engineer die naar een weergave van modelparameters kijkt.

Nauwkeurigheid verbeteren
Bias verminderen
Kennisbasis verbeteren

Finetuning gebruiken

Datakwaliteit
Modelcapaciteit
Taakdefinitie

Finetuningproces

De trainingsloop. Training levert een gefinetuned model op. Evaluatie gebeurt met het gefinetunede model en een evaluatiedataset.

Finetuning gebruiken

Datakwaliteit
Modelcapaciteit
Taakdefinitie

Finetuningproces

De trainingsloop. Een trainingsdataset start de training, wat een gefinetuned model oplevert. Evaluatie gebeurt met het gefinetunede model en een evaluatiedataset.

Finetuning gebruiken

Datakwaliteit
Modelcapaciteit
Taakdefinitie

Finetuningproces

De trainingsloop. Een trainingsdataset, model en tokenizer starten de training, wat een gefinetuned model oplevert. Evaluatie gebeurt met het gefinetunede model en een evaluatiedataset.

Finetuning gebruiken

Datakwaliteit
Modelcapaciteit
Taakdefinitie

Finetuningproces

De trainingsloop. Een trainingsdataset, argumenten, model en tokenizer starten de training, wat een gefinetuned model oplevert. Evaluatie gebeurt met het gefinetunede model en een evaluatiedataset.

Finetuning gebruiken

Datakwaliteit
Modelcapaciteit
Taakdefinitie

Finetuningproces
Nieuw model
Evaluatie

De trainingsloop. Een trainingsdataset, argumenten, model, tokenizer en finetuningklasse starten de training, wat een gefinetuned model oplevert. Evaluatie gebeurt met het gefinetunede model en een evaluatiedataset.

De Llama-finetuningbibliotheken

📚 Meerdere libraries voor finetuning

🦙 TorchTune voor Llama-finetuning

🚀 Een finetuningtaak starten met TorchTune

Opties voor Llama-finetuning

TorchTune
- Gebaseerd op configureerbare templates
- Ideaal voor: snel opschalen

Een klokpictogram dat snel experimenteren voorstelt.

SFTTrainer van Hugging Face
- Toegang tot andere LLM’s
- Ideaal voor: meerdere modellen finetunen

Een pictogram dat meerdere modellen voorstelt.

Unsloth
- Efficiënt geheugengebruik
- Ideaal voor: beperkte hardware

Een pictogram dat CPU-hardware voorstelt.

Axolotl
- Modulaire aanpak
- Ideaal voor: geen uitgebreide herconfiguratie

Een pictogram van een tandwiel en hand dat configuratie voorstelt.

TorchTune en recepten voor finetuning

TorchTune-recepten:
- Modulaire templates
- Configureerbaar voor verschillende projecten
- Houdt code georganiseerd
- Zorgt voor reproduceerbaarheid

Een illustratie van het bereiden van soep om het concept ‘recept’ te tonen.

TorchTune-lijst

Uitvoeren vanuit een terminal
Omgeving met Python
TorchTune installeren
```
pip3 install torchtune
```
Beschikbare recepten tonen
```
tune ls
```
! bij gebruik van IPython
```
!tune ls
```

TorchTune-lijst

!tune ls

Output:

RECIPE                                   CONFIG                                  
full_finetune_single_device              llama3/8B_full_single_device            
                                         llama3_1/8B_full_single_device          
                                         llama3_2/1B_full_single_device          
                                         llama3_2/3B_full_single_device       
full_finetune_distributed                llama3/8B_full                          
                                         llama3_1/8B_full                        
                                         llama3_2/1B_full                          
                                         ...

TorchTune-run

Gebruik recipe + --config + configuratie

Finetuning uitvoeren

tune run full_finetune_single_device --config \
llama3_1/8B_lora_single_device

Parameters device=cpu of device=cuda
epochs=<int> (<int> is 0 of een positief geheel getal)

Laten we oefenen!

Fijn-afstemmen met Llama 3