TorchTune ile ince ayar

Llama 3 ile İnce Ayar (Fine-Tuning)

Francesca Donadoni

Curriculum Manager, DataCamp

TorchTune ince ayarının bileşenleri

  • Model

    • İnce ayar yapılacak mimari ve ön eğitimli ağırlıkları tanımlar
    • Farklı sürümler ve parametre sayıları mevcuttur

  • Veri kümesi

    • Eğitime kullanılacak veriyi belirtir

  • Tarif (recipe)

    • Model, veri kümesi ve eğitim parametrelerini birleştiren merkezi yapılandırma dosyası
    • Tutarlılık ve çoğaltılabilirlik sağlar

iStock-2151073200.jpg

iStock-1281282682.jpg

iStock-2173849278.jpg

Llama 3 ile İnce Ayar (Fine-Tuning)

TorchTune ince ayarının bileşenleri

  • Model

    • !tune ls
      llama3/8B_full
llama3_1/8B_full
llama3_2/1B_full ...

  • Veri kümesi

    • ds.save_to_disk("new_dataset")

  • Tarif (recipe)

    • custom_recipe.yaml

iStock-2151073200.jpg

iStock-1281282682.jpg

iStock-2173849278.jpg

Llama 3 ile İnce Ayar (Fine-Tuning)

Bir TorchTune tarifinin bileşenleri

  • Genel ayarlar ve çıktı dizini
    • Batch size, cihaz ve epoch sayısı

 

  • Model
    • Mimari ve model yapılandırmalarını belirtir

 

  • Optimize edici

    • Öğrenme oranını içerir

  • Veri kümesi

    • Ön işleme ve veri kümesi yolunu tanımlar
batch_size: 4
device: cuda
epochs: 20
output_dir: /tmp/full-llama3.2-finetune

model:
  _component_: 
      torchtune.models.llama3_2.llama3_2_1b

optimizer:
  _component_: bitsandbytes.optim.PagedAdamW8bit
  lr: 2.0e-05

dataset:
  _component_: torchtune.datasets.alpaca_dataset
Llama 3 ile İnce Ayar (Fine-Tuning)

TorchTune tariflerini yapılandırma

  • Daha fazla parametre kullanılabilir
  • Python'da yaml ile yapılandırılabilir
import yaml

config_dict = {"batch_size": 4,
               "device": "cuda",
               "model": {
                 "_component_": "torchtune.models.llama3_2.llama3_2_1b"
                },
                ...
}

yaml_file_path = "custom_recipe.yaml"
with open(yaml_file_path, "w") as yaml_file:
    yaml.dump(config_dict, yaml_file)
Llama 3 ile İnce Ayar (Fine-Tuning)

Özel ince ayarı çalıştırma

tune run --config custom_recipe.yaml

INFO:torchtune.utils.logging:Running 
Writing logs to /tmp/full-llama3.2-finetune/log_1732815689.txt
INFO:torchtune.utils.logging:Model is initialized with precision torch.bfloat16.
INFO:torchtune.utils.logging:Tokenizer is initialized from file.
1|52|Loss: 2.3697006702423096:   0%|▏                     | 52/25880
  • Kayıtlar kaydedildi
  • Başarılı başlatma
  • Epoch ve adım ilerlemesi
  • Kayıp metrikleri
Llama 3 ile İnce Ayar (Fine-Tuning)

Hadi pratik yapalım!

Llama 3 ile İnce Ayar (Fine-Tuning)

Preparing Video For Download...