Biblioteki do dostrajania modelu Llama

Fine-Tuning z Llama 3

Francesca Donadoni

Curriculum Manager, DataCamp

Kiedy stosować dostrajanie

  • Model wstępnie wytrenowany
  • Używa wyspecjalizowanych danych

Inżynier AI przyglądający się reprezentacji parametrów modelu.

  • Poprawa dokładności
  • Redukcja błędów
  • Rozszerzenie bazy wiedzy
Fine-Tuning z Llama 3

Jak używać dostrajania

  • Jakość danych
  • Pojemność modelu
  • Definicja zadania

 

  • Proces dostrajania

Pętla treningowa. Trening tworzy dostrojony model. Ewaluacja odbywa się z użyciem dostrojonego modelu i zbioru ewaluacyjnego.

Fine-Tuning z Llama 3

Jak używać dostrajania

  • Jakość danych
  • Pojemność modelu
  • Definicja zadania

 

  • Proces dostrajania

Pętla treningowa. Zbiór treningowy służy do rozpoczęcia treningu, który tworzy dostrojony model. Ewaluacja odbywa się z użyciem dostrojonego modelu i zbioru ewaluacyjnego.

Fine-Tuning z Llama 3

Jak używać dostrajania

  • Jakość danych
  • Pojemność modelu
  • Definicja zadania

 

  • Proces dostrajania

Pętla treningowa. Zbiór treningowy, model i tokenizer służą do rozpoczęcia treningu, który tworzy dostrojony model. Ewaluacja odbywa się z użyciem dostrojonego modelu i zbioru ewaluacyjnego.

Fine-Tuning z Llama 3

Jak używać dostrajania

  • Jakość danych
  • Pojemność modelu
  • Definicja zadania

 

  • Proces dostrajania

Pętla treningowa. Zbiór treningowy, argumenty, model i tokenizer służą do rozpoczęcia treningu, który tworzy dostrojony model. Ewaluacja odbywa się z użyciem dostrojonego modelu i zbioru ewaluacyjnego.

Fine-Tuning z Llama 3

Jak używać dostrajania

  • Jakość danych
  • Pojemność modelu
  • Definicja zadania

 

  • Proces dostrajania
  • Nowy model
  • Ewaluacja

Pętla treningowa. Zbiór treningowy, argumenty, model, tokenizer i klasa dostrajania służą do rozpoczęcia treningu, który tworzy dostrojony model. Ewaluacja odbywa się z użyciem dostrojonego modelu i zbioru ewaluacyjnego.

Fine-Tuning z Llama 3

Biblioteki do dostrajania modelu Llama

 

  • 📚 Wiele bibliotek do dostrajania

 

  • 🦙 TorchTune do dostrajania modelu Llama

 

  • 🚀 Uruchamianie zadania dostrajania z TorchTune
Fine-Tuning z Llama 3

Opcje dostrajania modelu Llama

  • TorchTune
    • Oparty na konfigurowalnych szablonach
    • Idealny do: szybkiego skalowania

Ikona zegara symbolizująca szybkie eksperymentowanie.

  • SFTTrainer from Hugging Face
    • Dostęp do innych LLM
    • Idealny do: dostrajania wielu modeli

Ikona reprezentująca wiele modeli.

  • Unsloth
    • Efektywne wykorzystanie pamięci
    • Idealny do: ograniczonego sprzętu

Ikona reprezentująca sprzęt CPU.

  • Axolotl
    • Podejście modułowe
    • Idealny do: bez rozbudowanej rekonfiguracji

Ikona koła zębatego i dłoni symbolizująca konfigurację.

Fine-Tuning z Llama 3

TorchTune i receptury do dostrajania

 

 

  • Receptury TorchTune:

    • Szablony modułowe
    • Konfigurowalne do różnych projektów
    • Utrzymują kod w porządku
    • Zapewniają odtwarzalność

Ilustracja przygotowywanej zupy ilustrująca pojęcie receptury.

Fine-Tuning z Llama 3

Lista TorchTune

 

  • Uruchamianie z terminala
  • Środowisko z Pythonem
  • Instalacja TorchTune
    pip3 install torchtune

  • Lista dostępnych receptur

    tune ls

  • ! jeśli używasz IPython

    !tune ls
Fine-Tuning z Llama 3

Lista TorchTune

!tune ls
  • Wynik:
RECIPE                                   CONFIG                                  
full_finetune_single_device              llama3/8B_full_single_device            
                                         llama3_1/8B_full_single_device          
                                         llama3_2/1B_full_single_device          
                                         llama3_2/3B_full_single_device       
full_finetune_distributed                llama3/8B_full                          
                                         llama3_1/8B_full                        
                                         llama3_2/1B_full                          
                                         ...
Fine-Tuning z Llama 3

Uruchamianie TorchTune

 

  • Użyj receptury + --config + konfiguracji

  • Uruchom dostrajanie

    tune run full_finetune_single_device --config \
llama3_1/8B_lora_single_device

  • Parametry device=cpu lub device=cuda

  • epochs=<int> (<int> to 0 lub dodatnia liczba całkowita)
Fine-Tuning z Llama 3

Czas na ćwiczenia!

Fine-Tuning z Llama 3

Preparing Video For Download...