Бібліотеки для тонкого налаштування Llama

Тонке налаштування з Llama 3

Francesca Donadoni

Curriculum Manager, DataCamp

Коли застосовувати тонке налаштування

  • Попередньо натренована модель
  • Використовує спеціалізовані дані

Інженер ШІ розглядає зображення параметрів моделі.

  • Підвищити точність
  • Зменшити упередженість
  • Поліпшити базу знань
Тонке налаштування з Llama 3

Як використовувати тонке налаштування

  • Якість даних
  • Ємність моделі
  • Визначення завдання

 

  • Процес тонкого налаштування

Цикл тренування. Тренування дає тонко налаштовану модель. Оцінювання виконується з тонко налаштованою моделлю та набором даних для оцінювання.

Тонке налаштування з Llama 3

Як використовувати тонке налаштування

  • Якість даних
  • Ємність моделі
  • Визначення завдання

 

  • Процес тонкого налаштування

Цикл тренування. Тренувальний набір даних запускає тренування, яке створює тонко налаштовану модель. Оцінювання виконується з тонко налаштованою моделлю та набором даних для оцінювання.

Тонке налаштування з Llama 3

Як використовувати тонке налаштування

  • Якість даних
  • Ємність моделі
  • Визначення завдання

 

  • Процес тонкого налаштування

Цикл тренування. Тренувальний набір даних, модель і токенайзер запускають тренування, яке створює тонко налаштовану модель. Оцінювання виконується з тонко налаштованою моделлю та набором даних для оцінювання.

Тонке налаштування з Llama 3

Як використовувати тонке налаштування

  • Якість даних
  • Ємність моделі
  • Визначення завдання

 

  • Процес тонкого налаштування

Цикл тренування. Тренувальний набір даних, аргументи, модель і токенайзер запускають тренування, яке створює тонко налаштовану модель. Оцінювання виконується з тонко налаштованою моделлю та набором даних для оцінювання.

Тонке налаштування з Llama 3

Як використовувати тонке налаштування

  • Якість даних
  • Ємність моделі
  • Визначення завдання

 

  • Процес тонкого налаштування
  • Нова модель
  • Оцінювання

Цикл тренування. Тренувальний набір даних, аргументи, модель, токенайзер і клас тонкого налаштування запускають тренування, яке створює тонко налаштовану модель. Оцінювання виконується з тонко налаштованою моделлю та набором даних для оцінювання.

Тонке налаштування з Llama 3

Бібліотеки для тонкого налаштування Llama

 

  • 📚 Декілька бібліотек для тонкого налаштування

 

  • 🦙 TorchTune для тонкого налаштування Llama

 

  • 🚀 Запуск завдання тонкого налаштування в TorchTune
Тонке налаштування з Llama 3

Варіанти тонкого налаштування Llama

  • TorchTune
    • На основі конфігурованих шаблонів
    • Ідеально для: швидкого масштабування

Піктограма годинника, що означає швидкі експерименти.

  • SFTTrainer від Hugging Face
    • Доступ до інших LLM
    • Ідеально для: тонкого налаштування кількох моделей

Піктограма, що зображує кілька моделей.

  • Unsloth
    • Ефективне використання пам'яті
    • Ідеально для: обмеженого заліза

Піктограма, що зображує апаратне забезпечення CPU.

  • Axolotl
    • Модульний підхід
    • Ідеально для: без значної переконфігурації

Піктограма шестерні та руки, що означає конфігурацію.

Тонке налаштування з Llama 3

TorchTune і рецепти для тонкого налаштування

 

 

  • Рецепти TorchTune:

    • Модульні шаблони
    • Конфігуровані для різних проєктів
    • Допомагають тримати код упорядкованим
    • Забезпечують відтворюваність

Ілюстрація приготування супу, що зображує ідею «рецепта».

Тонке налаштування з Llama 3

Список TorchTune

 

  • Запускайте з термінала
  • Середовище з Python
  • Встановіть TorchTune
    pip3 install torchtune

  • Перелічіть доступні рецепти

    tune ls

  • ! якщо використовуєте IPython

    !tune ls
Тонке налаштування з Llama 3

Список TorchTune

!tune ls
  • Вивід:
RECIPE                                   CONFIG                                  
full_finetune_single_device              llama3/8B_full_single_device            
                                         llama3_1/8B_full_single_device          
                                         llama3_2/1B_full_single_device          
                                         llama3_2/3B_full_single_device       
full_finetune_distributed                llama3/8B_full                          
                                         llama3_1/8B_full                        
                                         llama3_2/1B_full                          
                                         ...
Тонке налаштування з Llama 3

TorchTune run

 

  • Використовуйте рецепт + --config + конфігурацію

  • Запустіть тонке налаштування

    tune run full_finetune_single_device --config \
llama3_1/8B_lora_single_device

  • Параметри device=cpu або device=cuda

  • epochs=<int> (<int> — 0 або додатне ціле)
Тонке налаштування з Llama 3

Давайте потренуємось!

Тонке налаштування з Llama 3

Preparing Video For Download...