Biblioteken för Llama-finjustering

Finjustering med Llama 3

Francesca Donadoni

Curriculum Manager, DataCamp

När ska man finjustera?

  • Förtränad modell
  • Använder specialiserad data

En AI-ingenjör som tittar på en representation av modellparametrar.

  • Förbättra noggrannhet
  • Minska bias
  • Utöka kunskapsbas
Finjustering med Llama 3

Hur man finjusterar

  • Datakvalitet
  • Modellens kapacitet
  • Uppgiftsdefinition

 

  • Finjusteringsprocessen

Träningsloopen. Träning producerar en finjusterad modell. Utvärdering sker med den finjusterade modellen och en utvärderingsdatamängd.

Finjustering med Llama 3

Hur man finjusterar

  • Datakvalitet
  • Modellens kapacitet
  • Uppgiftsdefinition

 

  • Finjusteringsprocessen

Träningsloopen. En träningsdatamängd används för att starta träning, vilket producerar en finjusterad modell. Utvärdering sker med den finjusterade modellen och en utvärderingsdatamängd.

Finjustering med Llama 3

Hur man finjusterar

  • Datakvalitet
  • Modellens kapacitet
  • Uppgiftsdefinition

 

  • Finjusteringsprocessen

Träningsloopen. En träningsdatamängd, modell och tokeniserare används för att starta träning, vilket producerar en finjusterad modell. Utvärdering sker med den finjusterade modellen och en utvärderingsdatamängd.

Finjustering med Llama 3

Hur man finjusterar

  • Datakvalitet
  • Modellens kapacitet
  • Uppgiftsdefinition

 

  • Finjusteringsprocessen

Träningsloopen. En träningsdatamängd, argument, modell och tokeniserare används för att starta träning, vilket producerar en finjusterad modell. Utvärdering sker med den finjusterade modellen och en utvärderingsdatamängd.

Finjustering med Llama 3

Hur man finjusterar

  • Datakvalitet
  • Modellens kapacitet
  • Uppgiftsdefinition

 

  • Finjusteringsprocessen
  • Ny modell
  • Utvärdering

Träningsloopen. En träningsdatamängd, argument, modell, tokeniserare och finjusteringsklass används för att starta träning, vilket producerar en finjusterad modell. Utvärdering sker med den finjusterade modellen och en utvärderingsdatamängd.

Finjustering med Llama 3

Biblioteken för Llama-finjustering

 

  • 📚 Flera bibliotek för finjustering

 

  • 🦙 TorchTune för Llama-finjustering

 

  • 🚀 Starta en finjusteringsuppgift med TorchTune
Finjustering med Llama 3

Alternativ för Llama-finjustering

  • TorchTune
    • Baseras på konfigurerbara mallar
    • Passar för: snabb uppskalning

En ikon av en klocka som representerar snabb experimentering.

  • SFTTrainer från Hugging Face
    • Tillgång till andra LLM:er
    • Passar för: finjustering av flera modeller

En ikon som representerar flera modeller.

  • Unsloth
    • Effektiv minnesanvändning
    • Passar för: begränsad hårdvara

En ikon som representerar CPU-hårdvara.

  • Axolotl
    • Modulärt upplägg
    • Passar för: ingen omfattande omkonfiguration

En ikon med ett kugghjul och en hand som representerar en konfiguration.

Finjustering med Llama 3

TorchTune och recepten för finjustering

 

 

  • TorchTune-recept:

    • Modulära mallar
    • Konfigurerbara för olika projekt
    • Håller koden organiserad
    • Säkerställer reproducerbarhet

En illustration av en soppa som tillagas för att illustrera konceptet recept.

Finjustering med Llama 3

TorchTune-lista

 

  • Kör från en terminal
  • Miljö med Python
  • Installera TorchTune
    pip3 install torchtune

  • Lista tillgängliga recept

    tune ls

  • ! vid användning av IPython

    !tune ls
Finjustering med Llama 3

TorchTune-lista

!tune ls
  • Utdata:
RECIPE                                   CONFIG                                  
full_finetune_single_device              llama3/8B_full_single_device            
                                         llama3_1/8B_full_single_device          
                                         llama3_2/1B_full_single_device          
                                         llama3_2/3B_full_single_device       
full_finetune_distributed                llama3/8B_full                          
                                         llama3_1/8B_full                        
                                         llama3_2/1B_full                          
                                         ...
Finjustering med Llama 3

TorchTune run

 

  • Använd recept + --config + konfiguration

  • Kör finjustering

    tune run full_finetune_single_device --config \
llama3_1/8B_lora_single_device

  • Parametrarna device=cpu eller device=cuda

  • epochs=<int> (<int> är 0 eller ett positivt heltal)
Finjustering med Llama 3

Nu kör vi en övning!

Finjustering med Llama 3

Preparing Video For Download...